[論文レビュー] Unsupervised Visual Representation Learning by Context Prediction

Carl Doersch, Abhinav Gupta+1 more|arXiv (Cornell University)|May 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 58被引用数 280

ひとこと要約

本論文では、画像のパッチ同士の相対的空間的位置を予測するように畳み込みニューラルネットワークを訓練することにより、自己教師ありの方法で教師なしの視覚表現学習を提案する。画像内コンテキストを教師信号として活用することで、人為的アノテーションが一切不要であるにもかかわらず、Pascal VOC において物体検出および教師なし物体発見の最先端性能を達成する、豊富で転移可能な特徴量を学習する。

ABSTRACT

This work explores the use of spatial context as a source of free and plentiful supervisory signal for training a rich visual representation. Given only a large, unlabeled image collection, we extract random pairs of patches from each image and train a convolutional neural net to predict the position of the second patch relative to the first. We argue that doing well on this task requires the model to learn to recognize objects and their parts. We demonstrate that the feature representation learned using this within-image context indeed captures visual similarity across images. For example, this representation allows us to perform unsupervised visual discovery of objects like cats, people, and even birds from the Pascal VOC 2011 detection dataset. Furthermore, we show that the learned ConvNet can be used in the R-CNN framework and provides a significant boost over a randomly-initialized ConvNet, resulting in state-of-the-art performance among algorithms which use only Pascal-provided training set annotations.

研究の動機と目的

• インターネット規模のデータセットへの視覚表現学習のスケーリングを実現するため、高価な人為的アノテーションの必要性を排除すること。
• ラベルなし画像内の空間的コンテキストが、豊かな視覚的特徴を学習するための無料で効果的な教師信号として機能するかを検討すること。
• 分類ラベルなしでオブジェクトレベルおよび部品レベルの視覚的構造を学習するよう促す自己教師ありプロキシタスクを開発すること。
• 学習された表現が画像間で一般化され、物体検出や教師なし発見などの下流タスクで性能向上をもたらすかを評価すること。
• インスタンスレベルのコンテキスト予測が、現実世界のビジョンタスクに有用なカテゴリレベルの視覚的表現をもたらすことを実証すること。

提案手法

• モデルは、同一画像内の2つのランダムなパッチを入力とし、2番目のパッチが1番目のパッチに対してどの相対的空間的位置にあるか（8通りの配置のうちの1つ）を予測するプロキシタスクで訓練される。
• この方法では、畳み込みニューラルネットワーク（ConvNet）を用いて各パッチの特徴量を抽出し、相対的位置を分類する。予測を最適化するために交差エントロピー損失が使用される。
• トレーニングデータは、自然画像からのランダムクロップペアから構築され、事前学習中にカテゴリラベルやバウンディングボックスは一切使用されない。
• 事前学習後、R-CNNフレームワークを用いて下流タスク（例：物体検出）のための特徴抽出器をファインチューニングする。
• 教師なし物体発見のためには、モデルの特徴量を用いて最近傍探索と幾何的検証を実行し、繰り返しクラスタ選択を実施してカバレッジと純度を最大化する。
• 本手法は、Pascal VOC 2007およびParis Street Viewデータセットで評価され、純度-カバレッジ曲線およびプロキシタスクの分類精度が用いられる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし画像内の空間的コンテキストは、豊かな視覚的表現を学習する強力な教師信号として機能できるか？
• RQ2 相対的パッチ位置を予測するように訓練されたモデルは、オブジェクトやその部品を認識するよう学習するか？
• RQ3 このような自己教師あり表現は、画像間で一般化され、カテゴリレベルのタスク（例：物体検出）の性能向上に寄与するか？
• RQ4 学習された表現が、どの程度教師なし視覚的発見を支援するか？
• RQ5 コンテキスト予測手法の性能は、教師ありまたは他の自己教師ありベースラインと比較して、下流タスクでどのように異なるか？

主な発見

• 相対的位置予測タスクにおけるモデルの正答率は38.4%に達し、12.5%のランダムレベルを著しく上回っており、タスクが困難であるが学習可能であることを示している。
• Pascal VOC 2007データセットにおいて、学習された表現は、ラベルなしのPascal提供アノテーションのみを用いた手法の中で、最先端の性能を達成しており、ランダムに初期化されたConvNetに比べ顕著な向上を示している。
• Pascal VOC 2011データセットから、カテゴリレベルの監視なしに、ネコ、人間、鳥などのオブジェクトを教師なしで視覚的に発見可能である。
• Pascal VOC 2007のサブセットにおいて、単純なクラスタ選択手順であるにもかかわらず、最大50%のカバレッジを達成し、中程度の純度を示しており、強い不変性と一般化性能を示している。
• ImageNet（検証精度40.3%）においても、トレーニング精度（39.5%）と比較して高い性能を維持しており、過学習が少なく、分布シフトに対して頑健であることが示された。
• オブジェクトバウンディングボックス内のパッチに制限しても、39.2%の正答率を達成しており、オブジェクト構造に感応していることが示唆されるが、オブジェクト領域外でも高い性能を維持しており、より広範なシーン理解能力を示している。