[論文レビュー] TextTopicNet - Self-Supervised Learning of Visual Features Through Embedding Images on Semantic Text Spaces

Yash Patel, Lluís Gómez+4 more|arXiv (Cornell University)|Jul 4, 2018

Image Retrieval and Classification Techniques参考文献 55被引用数 4

ひとこと要約

TextTopicNetは、LDAで埋め込まれたウィキペディア記事から得られる意味的トピック文脈を畳み込みニューラルネットワーク（CNN）が予測するように訓練することにより、自己教師あり手法で視覚的特徴を学習する。多言語のウィキペディアから入手可能なフリーなテキスト-画像ペアを活用することで、人為的ラベルを一切使用せず、画像分類、物体検出、クロスモodal検索の分野で最先端の性能を達成する。

ABSTRACT

The immense success of deep learning based methods in computer vision heavily relies on large scale training datasets. These richly annotated datasets help the network learn discriminative visual features. Collecting and annotating such datasets requires a tremendous amount of human effort and annotations are limited to popular set of classes. As an alternative, learning visual features by designing auxiliary tasks which make use of freely available self-supervision has become increasingly popular in the computer vision community. In this paper, we put forward an idea to take advantage of multi-modal context to provide self-supervision for the training of computer vision algorithms. We show that adequate visual features can be learned efficiently by training a CNN to predict the semantic textual context in which a particular image is more probable to appear as an illustration. More specifically we use popular text embedding techniques to provide the self-supervision for the training of deep CNN. Our experiments demonstrate state-of-the-art performance in image classification, object detection, and multi-modal retrieval compared to recent self-supervised or naturally-supervised approaches.

研究の動機と目的

• ディープラーニングにおけるコンピュータビジョンの分野で、人為的ラベルが付与されたデータセットの高コストとスケーラビリティの限界を解決すること。
• 図版が付随する記事に自然に共起する未構造化テキストが、視覚的表現学習のためのフリーでスケーラブルな教師信号として機能するかを検討すること。
• LDAを用いたトピックレベルの意味的表現が、語彙レベルや文書レベルの埋め込みと比較して、自己教師あり視覚的特徴学習においてより効果的であるかを調査すること。
• 自己教師あり視覚的特徴が、ImageNetにおける教師あり事前学習の性能を上回るか、あるいは同等の性能を達成できることを実証すること。

提案手法

• 本手法は、与えられた画像が図版として用いられるウィキペディア記事の意味的トピックベクトルを予測するためのCNNを用いる。
• テキスト埋め込みは、全記事のトピックレベルの意味的文脈をモデル化するために、潜在的ディリクレ割り当て（LDA）を用いて生成される。
• CNNは、画像特徴と対応するLDAで符号化されたテキストトピックベクトルを一致させるために、コントラスト損失を用いてエンドツーエンドで訓練される。
• モデルは、多様な分野にまたがる100万件を超える画像-テキストペアを含む大規模な多言語ウィキペディアコーパス上で事前学習される。
• 画像分類、物体検出、クロスモダリティ検索などの下流タスクに使用するため、最終層（確率層）の特徴が用いられる。
• 事前学習段階では人為的ラベルは一切使用せず、画像とそのテキスト的文脈の共起に基づく教師信号のみが使用される。

実験結果

リサーチクエスチョン

• RQ1 未構造化で自然に共起するウィキペディア記事からの意味的テキスト埋め込みが、視覚的表現学習のための効果的な自己教師信号として機能するか？
• RQ2 LDAを用いたトピックレベルの意味的表現が、語彙レベルや文書レベルのテキスト埋め込みと比較して、自己教師あり視覚的特徴学習においてより効果的か？
• RQ3 ウィキペディア記事から学習した自己教師あり視覚的特徴が、微調整なしに画像分類や物体検出などの下流タスクに一般化できるか？
• RQ4 TextTopicNetの性能は、標準ベンチマークにおいて教師ありおよび非教師あり自己教師ありベースラインと比較してどうなるか？

主な発見

• TextTopicNetは、ウィキペディアデータセットにおいてmAP 38.94を達成し、すべての非教師あり手法を上回り、教師あり手法の性能に近づいた。
• ImageCLEFデータセットではmAP 38.87を達成し、多言語的・多分野的な設定において強力な一般化性能を示した。
• PASCAL VOC 2007では、VOCデータセットへの微調整なしに、画像分類および物体検出で最先端の性能を達成した。
• 定性的な結果から、トピック空間層（確率層）の特徴は、意味的に関連する画像検索を可能にし、たとえば「airplane」や「fighter」のような多義語クエリに対しても有効であることが示された。
• 明示的な意味的類似性の教師信号なしにも、たとえば「airplane」と「flight」のようなクエリに対して、意味的に関連する画像を効果的に検索できた。
• モデルは、クラス固有の監視なしにPASCAL VOC 2007で正しくクラスを検索できることから、依然として細分化された認識をサポートする汎用的で広範なトピックの視覚的特徴を学習していることが裏付けられた。