[論文レビュー] Attention on Attention: Architectures for Visual Question Answering (VQA)

Jasdeep Singh, Vincent Ying+1 more|arXiv (Cornell University)|Mar 21, 2018

Multimodal Machine Learning Applications参考文献 5被引用数 21

ひとこと要約

本論文は、2つの並列なA3注意モジュールをスタックすることで、視覚的質問応答（VQA）性能を向上させる、新しい注目メカニズムA3x2を提案する。質問に従った複数の視点からの注目を用いて画像特徴の注目を精緻化することで、モデルは300 GPU時間にわたるハイパーパramータおよびアーキテクチャ探索の後、VQA v2.0データセットで64.78%の検証スコアを達成し、2017年のSOTA単一モデルの63.15%を上回った。

ABSTRACT

Visual Question Answering (VQA) is an increasingly popular topic in deep learning research, requiring coordination of natural language processing and computer vision modules into a single architecture. We build upon the model which placed first in the VQA Challenge by developing thirteen new attention mechanisms and introducing a simplified classifier. We performed 300 GPU hours of extensive hyperparameter and architecture searches and were able to achieve an evaluation score of 64.78%, outperforming the existing state-of-the-art single model's validation score of 63.15%.

研究の動機と目的

• 標準的な1回の通過による注目を超えた注目メカニズムの向上を通じて、視覚的質問応答（VQA）性能を向上させること。
• 複数の並列な注目モジュールが、画像と質問の共同表現学習に与える影響を調査すること。
• 注目設計と分類器の単純化に焦点を当て、広範な探索を通じてモデルアーキテクチャとハイパーパramータを最適化すること。
• 2017年のVQAチャレンジ優勝モデルの単一モデル性能（検証セットで63.15%）を上回ること。

提案手法

• モデルは事前学習済みのGloVe埋め込みとGRUを用い、入力された質問を1280次元の埋め込みに変換する。
• 画像特徴は固定されたFaster R-CNNを用いて抽出され、1枚の画像あたり36のオブジェクト中心の特徴が得られる。
• 二重のワンウェイトップダウン注目モジュール（A3x2）は、学習された注目重みを用いて、質問埋め込みと各画像領域との間の関連スコアを計算する。
• A3x2メカニズムは、2つのA3注目モジュールを並列にスタックすることで、モデルが同時に複数の画像領域に注目できるようにする。
• 結合された画像-質問埋め込みに簡素化された分類器を適用し、最終的な答えを予測する。
• 重み正規化、活性化関数（例：leaky ReLUなど）その他のアーキテクチャ的要素について、グリーディで逐次的な探索を用いて広範なハイパーパramータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 複数の注目メカニズムをスタックすることで、画像領域に対する複数の視点からの注目を可能にし、VQA性能を向上させることができるか？
• RQ2 注目メカニズムの設計が、質問と関連する視覚的特徴を正しく一致させる能力に与える影響は何か？
• RQ3 重み正規化や活性化関数などのアーキテクチャ的要素が、VQAの正確性に与える影響は何か？
• RQ4 VQA設定において、より複雑な出力ヘッドよりも単純化された分類器が優れた性能を発揮できるか？

主な発見

• A3x2注目メカニズムは、評価された13種類の注目モジュールの中で最高の性能を達成し、単一注目および他のスタック型変種を上回った。
• 最終的なモデルは、検証スコア64.78%を達成し、2017年にTeneyらが報告した63.15%という先行SOTA単一モデルスコアを上回った。
• 二重注目メカニズムは、複数の画像領域に注目を要する複雑な質問に対して、ヒートマップの可視化を通じて特徴の局所化が向上していることを示した。
• 多くのエポックを経て訓練セットで過学習が生じたが、モデルは依然として強力な一般化性能を維持しており、ハイパーパramータチューニングが検証セットへの過学習を緩和したと考えられる。
• 重み正規化とleaky ReLU活性化関数が、標準的なReLUおよび正規化なしの条件と比較して、モデル性能を向上させた。