[論文レビュー] Ask Your Neurons: A Neural-based Approach to Answering Questions about Images

Mateusz Malinowski, Marcus Rohrbach+1 more|arXiv (Cornell University)|May 5, 2015

Multimodal Machine Learning Applications参考文献 1被引用数 186

ひとこと要約

この論文では、画像特徴を抽出するためのCNNと、質問のエンコードおよび回答生成のためのLSTMを統合したエンド・ツー・エンドのニューラルネットワークであるNeural-Image-QAを提案する。視覚的質疑応答（VQA）において、先行手法の精度を2倍にし、最先端の性能を達成している。DAQUAR-Consensus（複数の人の回答を含む）を導入し、新たな共通認識に基づく評価指標を提案。言語のみのバージョンが人間のベースラインを上回ったことから、モデルが共通認識を学習していることが示唆される。

ABSTRACT

We address a question answering task on real-world images that is set up as a Visual Turing Test. By combining latest advances in image representation and natural language processing, we propose Neural-Image-QA, an end-to-end formulation to this problem for which all parts are trained jointly. In contrast to previous efforts, we are facing a multi-modal problem where the language output (answer) is conditioned on visual and natural language input (image and question). Our approach Neural-Image-QA doubles the performance of the previous best approach on this problem. We provide additional insights into the problem by analyzing how much information is contained only in the language part for which we provide a new human baseline. To study human consensus, which is related to the ambiguities inherent in this challenging task, we propose two novel metrics and collect additional answers which extends the original DAQUAR dataset to DAQUAR-Consensus.

研究の動機と目的

• 画像と自然言語の質問から同時に学習するエンド・ツー・エンドのニューラルネットワークを構築し、視覚的質疑応答を実現すること。
• 先行の最先端手法を超える性能をDAQUARベンチマークで達成すること。
• 追加の参照回答の収集を通じて、視覚的質問応答における人間の共通認識と曖昧さを調査すること。
• 人間の不一致に敏感な新たな評価指標（平均共通認識、最小共通認識）を導入すること。
• 言語のみのモデルが、視覚的入力なしに人間のベースラインを上回るかどうかを調査し、モデルが共通認識を学習しているかどうかを検証すること。

提案手法

• 入力画像から深層視覚特徴を抽出するためのCNN（例：GoogLeNet）が用いられ、その後、質問の埋め込みと統合される。
• 長短期記憶（LSTM）ネットワークが自然言語の質問をエンコードし、画像および質問の特徴に条件づけて、自己回帰的に回答を生成する。
• 単語レベルの交差エントロピー損失を用いて、バックプロパゲーションによりエンド・ツー・エンドで全モデルが訓練される。
• 標準的な指標（正解率、WUPS）に加え、2つの新しい共通認識に基づく指標（平均共通認識、最小共通認識）を用いて評価が行われる。
• 視覚的入力を除いた言語のみのバージョンを訓練し、モデルが言語のみから答えを推論できるかを評価する。
• DAQUARデータセットは、人間の回答の間隔一致度と曖昧さを調査するため、追加の回答収集を通じてDAQUAR-Consensusに拡張される。

実験結果

リサーチクエスチョン

• RQ1 統合されたエンド・ツー・エンドのニューラルネットワークアーキテクチャは、先行手法を上回る性能を示せるか？
• RQ2 言語のみのモデルは、視覚的入力なしに妥当な回答を生成できるか？また、人間の性能と比べてどの程度の差があるか？
• RQ3 視覚的質問に対する人間の回答にはどの程度の曖昧さがあるのか？そして、その曖昧さはどのように定量的に測定できるか？
• RQ4 共通認識に基づく評価指標は、標準的な指標よりも人間の不一致をより適切に反映しているか？
• RQ5 現在の視覚的質疑応答モデルの失敗モードは何か？特に空間的推論やレアなオブジェクトカテゴリに関しては？

主な発見

• Neural-Image-QAは、DAQUAR-Consensusデータセットにおいて最小共通認識指標を用いて60.50%の正解率を達成し、先行研究を著しく上回った。
• モデルは、DAQUARデータセット全体において、前回の最良手法の精度を2倍に向上させた。
• 言語のみのモデルバージョンは、元のDAQUARテストセットで36.78%の正解率を示し、同じ条件下で収集された新しい人間ベースラインを上回った。
• 人間の回答に最小共通認識指標を適用したことで、同じテストセットにおける人間ベースラインのスコアが20%から60.50%に向上し、人間アノテーター間の不一致が顕著であることが示された。
• モデルは空間的推論（21 WUPS@0.9）、小さなオブジェクト、否定文、形状認識に関しては苦戦し、12 WUPS@0.9未満のスコアを示した。
• 失敗事例には、強い隠蔽、未知語の回答（例：'toaster'）、および非典型なインスタンスが含まれており、グローバルなCNN特徴の限界が浮き彫りになった。