[論文レビュー] Hierarchical Co-Attention for Visual Question Answering

Jiasen Lu, Jianwei Yang+2 more|arXiv (Cornell University)|May 31, 2016

Multimodal Machine Learning Applications参考文献 16被引用数 22

ひとこと要約

本論文では、1次元畳み込みニューラルネットワーク（1D-CNN）に基づく階層的構造を持つ、視覚的および質問の注目を統合的に学習する階層的共同注目モデルを提示する。画像内のどこを見ることを選び、質問文のどの語に注目するかを同時にモデル化することで、VQAとCOCO-QAの両方で最先端の性能を達成し、それぞれ62.1%および65.4%の精度を実現した。

ABSTRACT

A number of recent works have proposed attention models for Visual Question Answering (VQA) that generate spatial maps highlighting image regions relevant answering the question. In this paper, we argue that in addition modeling where look or visual attention, it is equally important model what words listen to or question attention. We present a novel co-attention model for VQA that jointly reasons about image and question attention. In addition, our model reasons about the question and consequently the image via the co-attention mechanism in a hierarchical fashion via a novel 1-dimensional convolution neural networks (CNN) model. Our final model outperforms all reported methods, improving the state-of-the-art on the VQA dataset from 60.4% 62.1%, and from 61.6% 65.4% on the COCO-QA dataset.

研究の動機と目的

• 既存のVQAモデルが視覚的注目のみに注目しているのに対し、質問固有の注目を無視するという限界を是正すること。
• 画像領域と質問語の両方の注目を統合的にモデル化することで、VQAの性能を向上させること。
• 1D-CNNを用いた階層的推論メカニズムを導入し、画像と質問特徴間の共同注目をモデル化すること。
• 改善されたクロスモーダル注目により、ベンチマーク用VQAおよびCOCO-QAデータセットで最先端の結果を達成すること。

提案手法

• 画像特徴と質問語の両方の注目重みを同時に計算する共同注目メカニズムを提案する。
• 1次元畳み込みニューラルネットワーク（1D-CNN）を用いて、画像と質問表現間の相互作用を階層的にモデル化する。
• 双方向注目メカニズムを採用し、質問の内容に基づいて関連する画像領域を推論できるようにするとともに、逆に画像に基づいて質問の重要語を特定できるようにする。
• 共同注目メカニズムを階層的に適用することで、画像と質問特徴の間で複数レベルの推論を可能にする。
• 学習された注目マップを最終分類層に統合し、答えを生成する。

実験結果

リサーチクエスチョン

• RQ1 視覚的注目と質問注目を統合的にモデル化することで、視覚的注目のみに焦点を当てたモデルと比較して、VQAの性能が向上するか？
• RQ2 1D-CNNを用いた階層的推論は、VQAにおけるクロスモーダル注目にどのように寄与するか？
• RQ3 質問レベルの注目を組み込むことで、VQAベンチマークにおける一般化性能と精度が向上するか？
• RQ4 提案された共同注目メカニズムは、既存の注目ベースのVQAモデルをどの程度上回るか？

主な発見

• 提案モデルはVQAデータセットで62.1%のテスト精度を達成し、前回の最先端手法と比較して1.7%の向上を示した。
• COCO-QAデータセットでは65.4%の精度を達成し、前回の最先端手法（61.6%）と比較して3.8%の向上を示した。
• 階層的共同注目メカニズムは、標準的な注目メカニズムよりも効果的なクロスモーダル特徴の整合化を可能にした。
• 関連する画像領域と意味的に重要な質問語の両方に注目することで、モデルの耐障害性が向上した。