[論文レビュー] Show, Ask, Attend, and Answer: A Strong Baseline For Visual Question Answering

Vahid Kazemi, Ali Elqursh|arXiv (Cornell University)|Apr 11, 2017

Multimodal Machine Learning Applications参考文献 2被引用数 148

ひとこと要約

この論文は、視覚質問回答のためのシンプルで強力なベースラインを提案し、LSTM質問エンコーダ、ResNet画像エンコーダ、画像領域へのソフトアテンション、二層の分類器を用いて、VQA 1.0およびVQA 2.0で従来の最先端を上回る。

ABSTRACT

This paper presents a new baseline for visual question answering task. Given an image and a question in natural language, our model produces accurate answers according to the content of the image. Our model, while being architecturally simple and relatively small in terms of trainable parameters, sets a new state of the art on both unbalanced and balanced VQA benchmark. On VQA 1.0 open ended challenge, our model achieves 64.6% accuracy on the test-standard set without using additional data, an improvement of 0.4% over state of the art, and on newly released VQA 2.0, our model scores 59.7% on validation set outperforming best previously reported results by 0.5%. The results presented in this paper are especially interesting because very similar models have been tried before but significantly lower performance were reported. In light of the new results we hope to see more meaningful research on visual question answering in the future.

研究の動機と目的

• 強力でシンプルなVQAのベースラインを確立・動機づけ、より複雑なアーキテクチャが最先端性能に必要だという見方に挑戦する。
• 訓練時の細部（正規化、ドロップアウト、ソフトアテンション）に注意を払うことで、コンパクトなモデルでも大きな利得が得られることを示す。
• VQA 1.0（test-standard）およびVQA 2.0（validation）での性能を定量化し、従来の最先端と比較する。

提案手法

• 質問をLSTMでエンコードし、単語埋め込みを入力とする。
• 事前学習済みの152層ResNetで画像特徴を抽出し、最後の畳み込み層の出力（14x14x2048）を取り、L2正規化を適用する。
• LSTM状態に条件付けられた空間画像特徴上に積層型のソフトアテンション機構を適用し、複数の画像の視界を得る。
• 画像の視界を最終LSTM状態と連結し、2層の分類器を通じて最頻出の回答（top 3000）に対する確率を出力する。
• 各質問ごとに正解回答ごとに平均化したクロスエントロピー損失、Adam最適化、正則化のためのドロップアウトを用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 比較的シンプルなアーキテクチャと細部の訓練でVQA 1.0およびVQA 2.0で最先端の結果を達成できるか？
• RQ2 正規化、ドロップアウト、アテンション、アーキテクチャの選択がVQAの性能に与える影響は？
• RQ3 提案ベースラインは標準のVQAベンチマークで既存手法とどう比較されるか？
• RQ4 ソフトアテンションはVQAモデルの性能向上に不可欠か？
• RQ5 埋め込みサイズ、LSTMサイズ、アテンションサイズ、分類器サイズなどのハイパーパラメータが精度に与える影響は？

主な発見

• 追加データなしでVQA 1.0のテスト標準精度64.6%を達成し、従来の最高を0.4%上回る。
• VQA 2.0の検証で59.7%を記録し、従来の最高を0.5%上回る。
• 画像特徴のL2正規化、ドロップアウト、およびソフトアテンションは精度と訓練効率を大幅に改善する。
• 積層アテンションは強力な単一ベースラインと比較して限定的な利得をもたらす；二層の分類器は性能に大きく寄与する。
• モデルはResNetベースの画像埋め込みと1024次元のLSTM、300次元の語彙埋め込みを使用；いくつかのハイパーパラメータは適正な範囲内で影響が限定的。