[論文レビュー] Textually Enriched Neural Module Networks for Visual Question Answering

Khyathi Raghavi Chandu, Mary Arpita Pyreddy+2 more|arXiv (Cornell University)|Sep 23, 2018

Multimodal Machine Learning Applications参考文献 26被引用数 7

ひとこと要約

本稿では、質問解析中の情報損失を軽減するために、画像キャプションと外部知識を統合することで、視覚的質問応答のためのテキスト強化型ニューラルモジュールネットワーク（NMN）を提案する。関連するキャプション内容に注目し、外部知識ベースを活用することで、VQA 1.0のテストデブで57.1%の精度に向上し、文脈的または常識的推論を要する質問において顕著な改善が得られた。

ABSTRACT

Problems at the intersection of language and vision, like visual question answering, have recently been gaining a lot of attention in the field of multi-modal machine learning as computer vision research moves beyond traditional recognition tasks. There has been recent success in visual question answering using deep neural network models which use the linguistic structure of the questions to dynamically instantiate network layouts. In the process of converting the question to a network layout, the question is simplified, which results in loss of information in the model. In this paper, we enrich the image information with textual data using image captions and external knowledge bases to generate more coherent answers. We achieve 57.1% overall accuracy on the test-dev open-ended questions from the visual question answering (VQA 1.0) real image dataset.

研究の動機と目的

• 質問を解析ツリーに単純化する際のニューラルモジュールネットワーク（NMN）における情報損失を解消すること。
• 視覚的言語的推論を強化するため、画像キャプションを補助的テキスト的文脈として統合することで、VQA性能を向上させること。
• 注目メカニズムを導入することで、関係のないキャプション内容からのノイズを低減し、顕著なキャプションセグメントに集中させること。
• 画像およびキャプションデータを超えた外部知識ベースを統合することで、知識集約型の質問に対する回答を強化すること。
• キャプションベースの注目と知識統合がオープンエンドのVQAベンチマークに与える影響を評価すること、特に複雑または曖昧なクエリに対して。

提案手法

• LSTMを用いてキャプションテキストを符号化し、キャプショントークン上のソフト注目により関連する部分に注目することで、画像キャプションをNMNフレームワークに統合する。
• 質問語と関連するキャプションフレーズを一致させるソフト注目メカニズムを適用し、関係のないキャプション内容をフィルタリングすることでノイズを低減する。
• 数える質問を処理するためのMeasureモジュールをNMNアーキテクチャに拡張し、数値的推論を向上させるためにDescribeモジュールを置き換える。
• 常識的または事実的な知識を要する質問に対して、画像を超えた外部知識ベースを活用して視覚特徴を強化する。
• 画像特徴（CNNから）、質問特徴（LSTMから）、キャプション特徴（注目付きLSTMから）を要素ごとの乗算によりラテントフェージャー統合し、その後にソフトマックス層を適用して回答予測を行う、ラテントフェージャー統合機構を採用する。
• バックプロパゲーションを用いて、注目重みと知識取得パrameterを同時に最適化することで、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 質問の解析単純化に伴い失われる言語的情報を保持するために、画像キャプションを統合することで、ニューラルモジュールネットワークのVQA性能が向上するか？
• RQ2 全キャプションを用いるのではなく、関連するキャプション部分にのみ注目することで、ノイズを低減し、回答精度を向上させられるか？
• RQ3 外部知識ベースを統合することで、事実的または常識的知識を要する質問に対する推論がどの程度向上するか？
• RQ4 提案されたキャプション注目メカニズムは、曖昧または複雑な質問を処理する際、標準的なNMNと比較してどのように異なるか？
• RQ5 モデルに残存するエラーの種類は何か？また、訓練データのバイアスに起因する誤った関連付けを引き起こす可能性がある、一般的な用語を含むキャプションの影響は何か？

主な発見

• 提案されたキャプション注目メカニズムにより、VQA 1.0ベンチマークでテストデブ精度が1.2ポイント向上（55.9%から57.1%に）。
• トレーニングセットでは1.9%の向上を達成し、豊富なテキスト的監視により一般化性能が向上した。
• キャプションが質問に関連している場合（例：「2架の飛行機が飛んでいる」や「ピザ」）、モデルは「2」と「ピザ」といった正解を的確に予測し、標準的なNMNを上回った。
• キャプションに一般的または誤解を招く用語が含まれる場合、モデルは誤動作を示したことがある（例：訓練データのバイアスにより「グループ」を5と誤って高めに数える）。
• キャプションが質問に関係がない場合、キャプション注目は性能向上をもたらさず、品質が悪いキャプションからのノイズのリスクを浮き彫りにした。
• MeasureモジュールはDescribeモジュールを上回る性能を示さなかった。これは注目マップによる情報損失や画像特徴の不十分な活用が原因と考えられる。