[論文レビュー] Multimodal Unified Attention Networks for Vision-and-Language Interactions

Yu Zhou, Yuhao Cui+3 more|arXiv (Cornell University)|Aug 12, 2019

Multimodal Machine Learning Applications参考文献 69被引用数 33

ひとこと要約

MUANは、モーダル内とモーダル間の相互作用を同時にモデル化する統一注意ブロックを導入し、それらをMUANに積み重ねることで、タスク固有の微調整なしにVQAと視覚的グラウンディングで高い性能を達成する。

ABSTRACT

Learning an effective attention mechanism for multimodal data is important in many vision-and-language tasks that require a synergic understanding of both the visual and textual contents. Existing state-of-the-art approaches use co-attention models to associate each visual object (e.g., image region) with each textual object (e.g., query word). Despite the success of these co-attention models, they only model inter-modal interactions while neglecting intra-modal interactions. Here we propose a general `unified attention' model that simultaneously captures the intra- and inter-modal interactions of multimodal features and outputs their corresponding attended representations. By stacking such unified attention blocks in depth, we obtain the deep Multimodal Unified Attention Network (MUAN), which can seamlessly be applied to the visual question answering (VQA) and visual grounding tasks. We evaluate our MUAN models on two VQA datasets and three visual grounding datasets, and the results show that MUAN achieves top-level performance on both tasks without bells and whistles.

研究の動機と目的

• モーダル内およびモーダル間の相互作用の両方を捉える注意機構の動機付けと開発。
• 自己注意にゲーティングを追加して特徴を再重み付けする統一注意（UA）ブロックを提案。
• VQAと視覚的グラウンディングに適用可能な深いMUANアーキテクチャを構築するために、UAブロックを積み重ねる。
• 複数のVQAおよび視覚的グラウンディングのベンチマークで最先端または競争力のある結果を示す。

提案手法

• 基本単位としてGated Self-Attention(GSA)を導入し、アテンション前にQとKを再重み付けする二重線形プーリングベースのゲーティングを用いる。
• 単一のフレームワーク内で、モーダル内（VV, TT）およびモーダル間（VT, TV）の相互作用を共同でモデル化する統一注意（UA）ブロックを定義する。
• 複数のUAブロックを積み重ねてMUAN-Lを形成し、 深いマルチモーダル推論を実現、エンドツーエンド訓練を可能にする。
• VQAでは、質問に[ans]トークンを追加し、注意機構で得られた特徴から回答を予測する。
• 視覚的グラウンディングでは、領域スコアを予測し、ランキングと回帰というマルチタスク損失を用いて境界ボックスを洗練させる。
• Adamで訓練; 事前抽出された画像と質問の表現を使用（テキストはGloVe+LSTM、画像はCNN/物体検出器特徴）。

実験結果

リサーチクエスチョン

• RQ1 モーダル内の相互作用を含む内部モーダルの相互作用は、インターモーダルの相互作用と一緒にモ multimodal 推論を改善するか？
• RQ2 統一された注意機構は、VQAと視覚的グラウンディングタスクにおいて、逐次の自己注意と共注意を用いた方法よりも優れているか？
• RQ3 統一注意におけるゲーティングは性能と頑健性にどのような影響を与えるか？
• RQ4 MUANは標準的なVQAと視覚的グラウンディングのベンチマークで最先端または競争力のある方法とどのように比較されるか？

主な発見

• MUANはVQAの性能を複数のベースラインより向上させ、bottom-up featuresを用いたVQA-v2で70.82% test-devおよび86.77% test-stdの全体正解率を達成する。
• MUANはVQA-v2で従来手法を上回り、BAN、BAN+Counter、DFAF、MCANなどの比較で優れた性能を示し、標準特徴を用いた単一モデルアプローチのtest-stdでトップの性能を達成する。
• CLEVRではMUANが98.7%の精度を達成し、人間レベルの性能に近づき、いくつかの従来手法を上回る。
• アブレーションにより、自己注意と共注意の両方がMUANへ寄与し、共注意は浅いモデルで特に効果的であることが示される。ゲーティングは設定全体で測定可能な改善を提供する。
• より深いMUAN（大きなL）は、L=10付近の飽和点まで精度を一般に向上させることが多く、データセット依存の限界があることを示唆する。