[論文レビュー] Online Bag-of-Visual-Words Generation for Unsupervised Representation Learning

Spyros Gidaris, Andrei Bursuc+4 more|arXiv (Cornell University)|Dec 21, 2020

Multimodal Machine Learning Applications参考文献 16被引用数 10

ひとこと要約

本稿では、摂動を加えた画像から袋口の視覚的単語（BoW）表現を再構築するように学生畳み込みネットワークを訓練するオンラインで自己教師ありの表現学習手法を提案する。同時に教師ネットワークとBoW語彙もリアルタイムで更新する。この手法は、Pascalオブジェクト検出、Pascal分類、Places205分類といった下流タスクで、教師あり事前学習を凌駕する新たなSOTA性能を達成する。

ABSTRACT

Learning image representations without human supervision is an important and active research field. Several recent approaches have successfully leveraged the idea of making such a representation invariant under different types of perturbations, especially via contrastive-based instance discrimination training. Although effective visual representations should indeed exhibit such invariances, there are other important characteristics, such as encoding contextual reasoning skills, for which alternative reconstruction-based approaches might be better suited. With this in mind, we propose a teacher-student scheme to learn representations by training a convnet to reconstruct a bag-of-visual-words (BoW) representation of an image, given as input a perturbed version of that same image. Our strategy performs an online training of both the teacher network (whose role is to generate the BoW targets) and the student network (whose role is to learn representations), along with an online update of the visual-words vocabulary (used for the BoW targets). This idea effectively enables fully online BoW-guided unsupervised learning. Extensive experiments demonstrate the interest of our BoW-based strategy which surpasses previous state-of-the-art methods (including contrastive-based ones) in several applications. For instance, in downstream tasks such Pascal object detection, Pascal classification and Places205 classification, our method improves over all prior unsupervised approaches, thus establishing new state-of-the-art results that are also significantly better even than those of supervised pre-training. We provide the implementation code at this https URL.

研究の動機と目的

• 対照学習の限界を克服し、不変性を超える文脈的推論を捉える自己教師あり表現学習手法の開発。
• 学生ネットワークとBoW語彙の完全なオンライン学習を可能にし、オフラインでの事前計算を回避すること。
• インスタンス識別ではなく、再構築ベースの監視によりBoWターゲットを用いることで、視覚的表現の質を向上させること。
• 人間によるアノテーションなしで、下流のビジョンタスクでSOTA性能を達成すること。

提案手法

• 綺麗な画像からBoW表現を生成する教師ネットワークを用い、それを学生ネットワークのターゲットとして使用する。
• 同じ画像の摂動版からBoW表現を再構築するように学生ネットワークを訓練し、再構築損失を用いる。
• 学習中に視覚的語彙の語彙をオンラインで更新し、データ分布に動的に適応可能にする。
• 学生および教師ネットワークを反復的に更新する共同学習スキームを導入する。
• 入力画像を学生に供給する前にデータ拡張を適用し、ロバストネスと一般化性能を向上させる。
• リアルタイムでの語彙の維持と更新を可能にする微分可能で微分可能なクラスタリング機構を採用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり設定において、BoW表現による再構築ベースの監視が、対照学習よりも優れた視覚的表現をもたらすか？
• RQ2 BoW語彙と学生ネットワークのオンラインで共同学習するアプローチが、オフラインまたは固定語彙アプローチと比較して表現品質を向上させるか？
• RQ3 BoWガイド付き自己教師あり手法が、下流のビジョンベンチマークで教師あり事前学習を上回るか？
• RQ4 標準的な画像分類および検出タスクにおいて、提案手法はSOTAの対照的および自己教師ありアプローチと比較してどのように評価されるか？

主な発見

• 提案手法は、自己教師あり設定下でPascal VOCオブジェクト検出ベンチマークで新たなSOTA性能を達成した。
• Pascal VOC画像分類ベンチマークでも、すべての先行自己教師あり手法を上回り、新たなSOTAを樹立した。
• Places205シーン分類データセットにおいて、以前の自己教師あり手法よりも優れた正確性を達成した。
• いくつかの下流タスクにおいて、提案手法の性能は教師あり事前学習を上回っており、BoWガイド付き再構築の強力さを示している。
• オンライン語彙更新メカニズムにより、オフラインクラスタリングや固定コードブックを必要とせずに、安定的かつ効果的な学習が可能になった。
• 多様なビジョンタスクにわたる強力な一般化性能を示しており、BoWベースの監視が豊かな文脈的・構造的情報を捉えていることが示唆された。