[論文レビュー] Learning Visual Features from Large Weakly Supervised Data

Armand Joulin, Laurens van der Maaten+2 more|arXiv (Cornell University)|Nov 6, 2015

Multimodal Machine Learning Applications参考文献 49被引用数 9

ひとこと要約

この論文では、1億枚の弱教師付きFlickr画像とキャプションから、畳み込みニューラルネットワークをスクラッチから訓練する手法を提案しており、ImageNetの完全教師ありデータに匹敵するほどの視覚的特徴を学習できることを示している。主な貢献は、大規模な弱教師付き学習が、手動アノテーションなしで、競争力のある特徴を学習し、意味的語彙類似度を捉え、多言語間語彙対応を可能にすることを示したことである。

ABSTRACT

Convolutional networks trained on large supervised dataset produce visual features which form the basis for the state-of-the-art in many computer-vision problems. Further improvements of these visual features will likely require even larger manually labeled data sets, which severely limits the pace at which progress can be made. In this paper, we explore the potential of leveraging massive, weakly-labeled image collections for learning good visual features. We train convolutional networks on a dataset of 100 million Flickr photos and captions, and show that these networks produce features that perform well in a range of vision problems. We also show that the networks appropriately capture word similarity, and learn correspondences between different languages.

研究の動機と目的

• 完全教師ありデータがなければ高品質な視覚的特徴が学習可能かどうかを調査すること。
• ImageNetのような完全ラベル付きデータセットと比較して、弱ラベル付き画像キャプションペアで訓練されたモデルの性能を評価すること。
• 弱教師付きモデルが、語彙類似度や多言語間対応といった意味的な構造を有意義に学習するかどうかを評価すること。
• ノイズが多く、大規模なWebデータを用いて深層ネットワークをスクラッチから訓練する可能性を調査すること。
• クラスごとの均等サンプリングが、弱教師付き設定における特徴品質に与える影響を特定すること。

提案手法

• 関連するキャプション付きで1億枚の画像を含むFlickrデータセットを用いて、畳み込みネットワークをスクラッチから訓練する。
• 各単語を別々のクラスとして扱い、画像特徴から語彙ラベルを予測するためのマルチクラスロジスティック損失を用いる。
• 頻出語彙が特徴学習を支配しないように、訓練中にクラスごとの均等サンプリングを適用する。
• 画像分類や語彙類似度といった下流タスクでの学習済み視覚的特徴の評価を行う。
• 英語とフランス語の語彙埋め込み間のコサイン類似度を計算することで、多言語間語彙対応を測定する。
• 大規模な多言語辞書を用いて、学習済み埋め込みにおける多言語語彙アライメントの品質を検証する。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きデータで訓練された視覚的特徴は、ImageNetのような完全教師ありデータで訓練されたものと同等の性能を達成できるか？
• RQ2 画像キャプションペアで訓練されたモデルは、語彙類似度やアナロジーといった意味的な関係を有意義に学習できるか？
• RQ3 弱教師付きモデルは、異なる言語の語彙間に対応関係を学習できるか？
• RQ4 クラスごとの均等サンプリングは、弱教師付き学習における学習済み視覚的特徴の品質にどのように影響するか？
• RQ5 マルチラベル設定においても、マルチクラスロジスティック損失は大規模な弱教師付き学習に有効に機能するか？

主な発見

• 1億枚の弱ラベル付きFlickr画像で訓練されたモデルは、ImageNetの120万枚の手動アノテーション付き画像で訓練されたモデルとほぼ同等の視覚的特徴品質を達成している。
• モデルは語彙類似度を捉えることができており、K=10,000語の英語→フランス語語彙翻訳において、精度@10が55.34%に達し、ランダムレベルをはるかに上回っている。
• 多言語語彙対応は効果的に学習されており、K=10,000語の英語→フランス語翻訳において、精度@1が33.01%に達している。
• 意味的に関連する語彙ペア（例：'tomatoes' と 'tomates'）の間で高いコサイン類似度が得られていることから、モデルが語彙を視覚的コンセプトに関連付けて学習していることが裏付けられている。
• クラスごとの均等サンプリングは、訓練データにおける頻出語彙への過学習を防ぎ、特徴品質を顕著に向上させている。
• マルチクラスロジスティック損失は、大規模な弱教師付き学習におけるノイズが多く、スパarsなラベルに対しても効果的に機能しており、その頑健性が示された。