[論文レビュー] Self-supervised learning of visual features through embedding images into text topic spaces

Lluís Gómez, Yash Patel+3 more|arXiv (Cornell University)|May 24, 2017

Advanced Image and Video Retrieval Techniques参考文献 38被引用数 18

ひとこと要約

本稿では、マルチモーダルなウィキペディア記事からのLDA埋め込みテキストを用いて、画像が挿絵として出現する意味的トピック文脈を予測するようにCNNを訓練する自己教師あり手法TextTopicNetを提案する。ノイズの多い自由なテキストアノテーションを活用することで、人為的ラベルが一切不要な状態で、画像分類、オブジェクト検出、マルチモーダル検索において最先端の性能を達成する判別性の高い視覚的特徴を学習する。

ABSTRACT

End-to-end training from scratch of current deep architectures for new computer vision problems would require Imagenet-scale datasets, and this is not always possible. In this paper we present a method that is able to take advantage of freely available multi-modal content to train computer vision algorithms without human supervision. We put forward the idea of performing self-supervised learning of visual features by mining a large scale corpus of multi-modal (text and image) documents. We show that discriminative visual features can be learnt efficiently by training a CNN to predict the semantic context in which a particular image is more probable to appear as an illustration. For this we leverage the hidden semantic structures discovered in the text corpus with a well-known topic modeling technique. Our experiments demonstrate state of the art performance in image classification, object detection, and multi-modal retrieval compared to recent self-supervised or natural-supervised approaches.

研究の動機と目的

• 大規模な人為的ラベル付きデータセットに依存しない自己教師ありの視覚的特徴学習手法の開発。
• 図版付き記事からのテキスト意味論が、CNNの訓練に強力な監視信号として機能するかを調査すること。
• 自由に入手可能なマルチモーダルWebコンテンツのみを用いて、エンドツーエンドの深層視覚モデルの訓練を可能にすること。
• 一般的なトピックレベルのテキスト表現が、下流タスクに転送可能な視覚的特徴を生み出せるかを示すこと。
• 追加の微調整やアノテーションなしにゼロショットマルチモーダル検索を可能にすること。

提案手法

• 本手法は、与えられた画像のトピック確率分布を予測するCNNを用いる。ここで、トピックは図版付きウィキペディア記事のテキストに対するLDAモデリングから得られる。
• 各記事のテキストコンテンツは、潜在的ディリクレ配布（LDA）を用いてトピック確率ベクトルに符号化され、視覚的特徴学習の監視信号として機能する。
• CNNは、画像をその関連するテキストと同じトピック空間にマップするように訓練され、予測されたトピック分布と真値のトピック分布との間の交差エントロピー損失を用いる。
• 微調整なしに、学習済みネットワークの異なる層（例：pool5, fc6, fc7, prob）の特徴が下流評価に使用される。
• マルチモーダル検索は、トピック空間におけるクエリ（画像またはテキスト）埋め込みとデータベースエントリとの間のKLダイバージェンスを計算することで実行される。
• 本手法は画像レベルのアノテーションやImageNetでの事前学習を必要とせず、ウィキペディアからの弱い対応画像・テキストペアにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 図版付き記事内のテキストの意味的文脈のみを用いて、自己教師ありの視覚的特徴学習を効果的に実現できるか？
• RQ2 トピックレベルの監視によって学習された視覚的特徴は、画像分類やオブジェクト検出などの下流タスクにどれほど一般化するか？
• RQ3 画像の外観が属するトピック文脈を予測するように訓練されたCNNが、どれほど判別性の高い視覚的特徴を学習できるか？
• RQ4 ラベルなしデータのみを用いても、教師ありまたは自己教師ありのベースラインと比較して競争力のある性能を達成できるか？
• RQ5 モデルは多義的（ポリセミック）な画像表現を学習するのか？すなわち、同義語や関連概念間の意味的類似性を捉えられるか？

主な発見

• TextTopicNetは、ウィキペディアの画像・テキストペアを用いた自己教師あり学習のみで、ImageNet-1K分類タスクで74.1％のトップ1正解率を達成し、最近の自己教師あり手法を上回った。
• STL-10データセットでは82.4％の正解率に達し、C-SVDDNetなどの教師ありベースラインを上回り、外部データで訓練されたモデルと同等の性能を示した。
• ウィキペディアデータセットにおけるマルチモーダル検索では、平均平均精度（MAP）が38.87％に達し、すべての非教師あり手法を上回り、教師ありベースラインに近い性能を示した。
• 定性的な分析から、トピック層（prob）の特徴は、視覚的外観が異なる場合でも意味的に類似した最近傍の画像を返すことが分かった。これは、意味的理解の強さを示している。
• モデルは多義的表現を学習している：'airplane'、'flight'、'aircraft'といったクエリは類似した画像を検索することができ、意味的一般化が可能であることを示している。
• 初期層（例：pool5）の特徴は、より視覚的に類似した最近傍の画像を返す傾向にあり、特徴階層における意味的類似性と視覚的類似性のトレードオフが明らかになった。