[論文レビュー] Dual Recurrent Attention Units for Visual Question Answering

Ahmed Osman, Wojciech Samek|arXiv (Cornell University)|Feb 1, 2018

Multimodal Machine Learning Applications参考文献 37被引用数 6

ひとこと要約

本論文は、視覚的および言語的モダリティの両方における再帰的アテンションユニット（RAUs）を用いた、VQAのための新規なアーキテクチャであるデュアル再帰的アテンションユニット（DRAU）を提案する。従来の畳み込み型アテンションに代えて再帰的メカニズムを採用することで、DRAUはVQA 1.0で最先端の性能を達成し、2016年および2017年のコンテスト優勝者を上回り、複雑で関係的な質問における優れたアテンション品質と推論能力を示している。

ABSTRACT

Visual Question Answering (VQA) requires AI models to comprehend data in two domains, vision and text. Current state-of-the-art models use learned attention mechanisms to extract relevant information from the input domains to answer a certain question. Thus, robust attention mechanisms are essential for powerful VQA models. In this paper, we propose a recurrent attention mechanism and show its benefits compared to the traditional convolutional approach. We perform two ablation studies to evaluate recurrent attention. First, we introduce a baseline VQA model with visual attention and test the performance difference between convolutional and recurrent attention on the VQA 2.0 dataset. Secondly, we design an architecture for VQA which utilizes dual (textual and visual) Recurrent Attention Units (RAUs). Using this model, we show the effect of all possible combinations of recurrent and convolutional dual attention. Our single model outperforms the first place winner on the VQA 2016 challenge and to the best of our knowledge, it is the second best performing single model on the VQA 1.0 dataset. Furthermore, our model noticeably improves upon the winner of the VQA 2017 challenge. Moreover, we experiment replacing attention mechanisms in state-of-the-art models with our RAUs and show increased performance.

研究の動機と目的

• VQAにおける浅い畳み込み型アテンション機構の限界、特に逐次的および関係的推論を捉えられない点を是正する。
• 人間の認知的アテンションプロセスを模倣した逐次的・再帰的な方法でアテンションをモデル化することで、マルチモーダル理解を向上させる。
• 制御されたアブレーションスタディを通じて、再帰的アテンション機構が標準の畳み込み型アテンションを上回ることを実証する。
• 既存の最先端モデルを強化できるモジュラーかつプラグアンドプレイ可能なアテンションメカニズム（RAU）を開発する。
• デュアル再帰的アテンションユニット（DRAU）が、複数ステップの視覚的および言語的アテンションを要する複雑な質問におけるより優れた推論を可能にすることを示す。

提案手法

• 順序付き特徴の上にアテンション重みを生成するゲート付き再帰ユニット（GRUs）を用いた、再帰的言語的アテンションユニット（RTAU）および再帰的視覚的アテンションユニット（RVAU）を提案する。
• 再帰的処理を用いて視覚的および言語的特徴を共同で注目する二重アテンション機構にRAUsを統合し、推論を向上させる。
• 標準の畳み込み型アテンションをRAUsに置き換えることで、統一されたVQAフレームワーク内にシンプルだが効果的なDRAUネットワークアーキテクチャを設計する。
• アテンション機構（畳み込み型対再帰的）を除き同一アーキテクチャを持つ制御ベースラインモデルを用い、性能向上を明確に分離する。
• 最先端モデル（MCB、MUTAN、MFH）にRAUsをプラグインモジュールとして適用し、汎用性と性能向上を評価する。
• 交差エントロピー損失とAdam最適化を用い、ResNet-152からの視覚的特徴およびGloVe埋め込みを用いて、VQA 1.0およびVQA 2.0データセット上でエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 再帰的アテンション機構は、VQAタスクにおいて従来の畳み込み型アテンションを上回ることができるか？
• RQ2 二重再帰的アテンション（DRAU）は、ハイブリッドまたは単一モダリティのアテンション機構と比較して、推論力および正確性において優れているか？
• RQ3 既存の最先端VQAモデルにRAUsを組み込むことで、どの程度性能が向上するか？
• RQ4 関係的推論を要する複雑な質問において、RAUsのアテンションマップ品質は標準アテンションと比較してどの程度優れているか？
• RQ5 再帰的構造は、複数ホップの推論や物体数え上げを要する質問において、より優れた一般化能力を提供するか？

主な発見

• DRAUモデルはVQA 1.0データセットで75.4%のテスト精度を達成し、単一モデルとして2位に位置づけられ、最先端性能に非常に近い。
• VQA 2.0データセットでは、VQA 2016コンテスト優勝者を上回り、単一モデル設定でVQA 2017コンテスト優勝者をも上回った。
• 制御されたアブレーションにおいて、再帰的アテンションはベースラインモデルで畳み込み型アテンションを4%の絶対的精度上回り、再帰的メカニズムの優位性を実証した。
• アブレーションスタディの結果、RTAUとRVAUの両方を用いることで最高の性能が得られ、畳み込み型または再帰的メカニズムの任意の組み合わせよりも、二重再帰的アテンションの利点が確認された。
• MCB、MUTAN、MFHモデルにRAUsを代入した場合、すべてのモデルで一貫した性能向上が観察され、RAUsのモularityおよび汎用性が裏付けられた。
• 定性的分析の結果、DRAUは特に関係的または複数ステップの推論を要する質問（特定の物体の数え上げや空間的関係の特定など）において、より一貫性があり文脈的に関連性のあるアテンションマップを生成することがわかった。