[論文レビュー] What value do explicit high level concepts have in vision to language problems?

Qi Wu, Chunhua Shen+3 more|arXiv (Cornell University)|Jun 3, 2015

Multimodal Machine Learning Applications参考文献 70被引用数 33

ひとこと要約

この論文は、視覚から言語への（V2L）タスクにおける明示的なハイレベルな意味的概念の価値を調査し、学習された画像属性をCNN-RNNフレームワークに統合することで、画像キャプション（BLEU-1: 0.73）および視覚質問応答（VQA）（VQAで57.62%の正答率）において最先端の性能を達成した。これは、明示的なハイレベルな概念が、特に常識的推論において、V2Lの性能を顕著に向上させることを示している。

ABSTRACT

Much of the recent progress in Vision-to-Language (V2L) problems has been achieved through a combination of Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs). This approach does not explicitly represent high-level semantic concepts, but rather seeks to progress directly from image features to text. We propose here a method of incorporating high-level concepts into the very successful CNN-RNN approach, and show that it achieves a significant improvement on the state-of-the-art performance in both image captioning and visual question answering. We also show that the same mechanism can be used to introduce external semantic information and that doing so further improves performance. In doing so we provide an analysis of the value of high level semantic information in V2L problems.

研究の動機と目的

• 直接的なCNN-RNNアプローチの成功にもかかわらず、視覚から言語へのタスクにおける性能向上に、明示的なハイレベルな意味的概念が寄与するかどうかを調査すること。
• 画像キャプションおよび視覚質問応答のための標準的なCNN-RNNパイプラインに、人間が理解可能な意味的属性を統合する手法を開発すること。
• WordNetのような外部知識が、属性表現の向上およびV2Lモデルにおける推論能力の強化に与える影響を評価すること。
• 明示的なハイレベル表現が、視覚から言語へのタスクにおける生成および理解の両方で、測定可能な向上をもたらすことを実証すること。

提案手法

• 256個の人の意味する意味的属性（例：'眠っている'、'お風呂'）の可能性を、画像特徴から予測するCNNベースの属性分類器を学習する。
• 予測された属性確率が、ハイレベルな意味的表現を形成し、これを生の画像特徴の代わりまたは補完としてLSTMデコーダの入力に使用する。
• 知識拡張戦略として、WordNetを用いて画像由来の属性をより広範な知識由来の語彙（9,762語）に拡張し、意味的カバレッジを豊かにする。
• 事前学習済みのword2vec埋め込みに基づく類似度行列を用い、画像由来の属性を知識由来の語にマッピングし、マックスプーリングにより知識強化型属性ベクトルを生成する。
• 最終的な属性ベクトル（画像または知識由来）をLSTMに供給し、キャプション生成または質問への回答を行う。
• キャプション生成およびVQAタスクの両方で、クロスエントロピー損失を用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 直接的な画像特徴からテキストへのマッピングと比較して、明示的なハイレベルな意味的概念を統合することで、視覚から言語へのタスクの性能が向上するか？
• RQ2 学習された意味的属性は、特に常識的質問に対して、視覚質問応答における推論能力を向上させることができるか？
• RQ3 外部知識（例：WordNet）を用いて画像由来の属性を拡張することで、モデルの一般化能力および性能がどの程度向上するか？
• RQ4 属性ベースの表現は、さまざまなV2Lベンチマークにおいて、エンドツーエンドのCNN-RNNベースラインと比較して、正答率および頑健性の点でどのように差をつけるか？

主な発見

• 提案された属性ベースのモデルは、Microsoft COCOキャプションチャレンジでBLEU-1スコア0.73を達成し、執筆時点での新たなSOTAを樹立した。
• Toronto COCO-QAデータセットでは、WUPS@0.9スコア71.15を達成し、以前のSOTA（66.78）を上回った。
• オープンエンドのVQA（テストスタンダード）ベンチマークでは、55.84%の正答率を達成し、ベースラインの54.06%を上回った。
• WordNetを用いた知識拡張後、VQAテストスプリットで57.62%の正答率を達成し、ベースラインより顕著な向上を示した。
• 常識的推論質問（例：'なぜ'：9.88%正答率、'どんな種類'：45.23%正答率）においても顕著な向上を示し、意味的知識による推論能力の向上を裏付けた。
• 属性ベースのフレームワークにより、外部知識ソースへのアクセスが可能になり、視覚的外観を超えた世界知識を必要とする質問の性能が向上した。