[論文レビュー] Learning to Answer Questions From Image Using Convolutional Neural Network

Lin Ma, Zhengdong Lu+1 more|arXiv (Cornell University)|Jun 1, 2015

Multimodal Machine Learning Applications参考文献 26被引用数 29

ひとこと要約

この論文は、画像と質問の表現を統合的に学習する3つの専用畳み込みニューラルネットワーク（CNN）を用いて、視覚的質疑応答（VQA）のためのエンドツーエンドの畳み込みニューラルネットワーク（CNN）モデルを提案する。モデルは階層的特徴学習と専用のマルチモーダル畳み込み層を用いて、複雑なクロスモーダル関係を効果的に捉えることで、DAQUARおよびCOCO-QAデータセットにおいて従来手法を顕著に上回る性能を達成する。

ABSTRACT

In this paper, we propose to employ the convolutional neural network (CNN) for the image question answering (QA). Our proposed CNN provides an end-to-end framework with convolutional architectures for learning not only the image and question representations, but also their inter-modal interactions to produce the answer. More specifically, our model consists of three CNNs: one image CNN to encode the image content, one sentence CNN to compose the words of the question, and one multimodal convolution layer to learn their joint representation for the classification in the space of candidate answer words. We demonstrate the efficacy of our proposed model on the DAQUAR and COCO-QA datasets, which are two benchmark datasets for the image QA, with the performances significantly outperforming the state-of-the-art.

研究の動機と目的

• 視覚的質疑応答（VQA）の課題に、画像と自然言語の質問の共同表現を学習することで対処すること。
• 畳み込みアーキテクチャを用いて、画像と言語モダリティ間の複雑な相互作用をモデル化することで、既存手法を上回る性能を実現すること。
• 画像、文、マルチモーダル表現学習のための専用CNNを用いたエンドツーエンド学習の有効性を示すこと。
• RNNやbag-of-wordsモデルと比較して、CNNによる語の階層的構成がより強固な質問表現を生み出すことを検証すること。
• 各コンポonent—画像CNN、文CNN、マルチモーダル畳み込み層—が全体のモデル性能に果たす寄与度を分析すること。

提案手法

• モデルは、入力画像から階層的視覚特徴を抽出する専用の画像CNNを採用する。
• 文のCNNは、畳み込みおよびプーリング操作を用いて、語レベルの埋め込みを高次元の意味的表現に組み立てる。
• マルチモーダル畳み込み層は、画像と質問の表現を統合し、それらの間の局所的およびグローバルな相互作用を学習する。
• マルチモーダル層からの共同表現は、ソフトマックス層に供給され、候補集合からの答えを予測する。
• 全ネットワークは、(画像, 質問, 答え) サンプルに対して三重損失を用いてエンドツーエンドで訓練される。
• モデルは、精度、WUPS@0.9、WUPS@0.0 を指標として用い、2つのベンチマークデータセット（DAQUARおよびCOCO-QA）で評価される。

実験結果

リサーチクエスチョン

• RQ1 純粋な畳み込みアーキテクチャは、VQAにおける画像と自然言語の質問の間の相互作用を効果的にモデル化できるか？
• RQ2 RNNやbag-of-wordsモデルと比較して、文のCNNはVQAの質問表現学習においてどのように性能を発揮するか？
• RQ3 単純な特徴の連結と比較して、マルチモーダル畳み込み層はクロスモーダル依存関係をどれほど効果的に捉えられるか？
• RQ4 画像表現と質問表現が、答え予測の正確性にそれぞれどの程度寄与しているか？
• RQ5 語の順序がランダムに並び替えられた場合でも、文のCNNは自然言語の質問の意味的・構文的構造を適切に捉えることができるか？

主な発見

• 提案されたCNNモデルは、DAQUARおよびCOCO-QAデータセットの両方で最先端の性能を達成し、LSTMや視覚的意味的埋め込みに基づく手法を顕著に上回る。
• 単純な画像と質問特徴の連結と比較して、マルチモーダル畳み込み層は性能を顕著に向上させ、複雑なクロスモーダル相互作用をモデル化する有効性を示している。
• BOWおよびLSTMベースのモデルと比較して、文のCNNは質問表現の学習において優れた性能を示し、逐次的な語から意味的な特徴を組み立てる優れた能力を有していることが示された。
• 画像表現を削除すると、人間のような性能は50%から12%に低下し、VQAにおける視覚的文脈の重要性が確認された。
• 質問の語の順序をランダムに並び替えた場合、COCO-QAではモデルの正確性が40.74%に低下した。これは、文のCNNが自然な質問の構文的・意味的構造を効果的に捉えていることを示している。
• 全コンポーネントを備えた完全なモデルが最も高い正確性を達成した。これは、画像、質問、マルチモーダル表現の共同学習が最適な性能を達成するために不可欠であることを示している。