[論文レビュー] Answer Them All! Toward Universal Visual Question Answering Models

Robik Shrestha, Kushal Kafle+1 more|arXiv (Cornell University)|Mar 1, 2019

Multimodal Machine Learning Applications参考文献 56被引用数 6

ひとこと要約

この論文は、自然画像（例：VQAv2、TDIUC）および合成推論（例：CLEVR、CoGenT）の両データセットで最先端または競争力のある性能を達成する統合型視覚質問応答モデルRAMENを提案する。視覚的特徴とテキスト的特徴の早期融合と、クロスモーダル統合にバイグラスド・リカレントユニット（bi-GRU）を用いることで、RAMENはドメインをまたいで効果的に一般化し、両ベンチマークで特化型モデルを上回る性能を示し、複雑でバイアスを利用したモデルに匹敵する単純なアーキテクチャの有効性を示している。

ABSTRACT

Visual Question Answering (VQA) research is split into two camps: the first focuses on VQA datasets that require natural image understanding and the second focuses on synthetic datasets that test reasoning. A good VQA algorithm should be capable of both, but only a few VQA algorithms are tested in this manner. We compare five state-of-the-art VQA algorithms across eight VQA datasets covering both domains. To make the comparison fair, all of the models are standardized as much as possible, e.g., they use the same visual features, answer vocabularies, etc. We find that methods do not generalize across the two domains. To address this problem, we propose a new VQA algorithm that rivals or exceeds the state-of-the-art for both domains.

研究の動機と目的

• 最先端のVQAモデルが自然画像と合成推論データセットの両方で一般化するかどうかを調査すること。
• 既存のVQAモデルにおける劣悪なクロスドメイン一般化の根本的原因を特定すること。
• 自然画像と合成ベンチマークの両方で競争力のある性能を発揮する統合型VQAモデルを提案すること。
• 公平な比較を実現するため、同一の視覚的特徴と答え語彙を用いてすべてのモデルを標準化すること。

提案手法

• RAMENは、領域提案からの視覚的特徴とテキスト埋め込みを事前に連結することで、早期融合を用いる。
• クロスモーダル表現を時間的に統合・精錬するために、双方向Gated Recurrent Unit（bi-GRU）を採用する。
• 初期の特徴表現には平均プーリングを用い、bi-GRUによる非最大抑制を適用して重複する提案を低減する。
• すべてのモデルは、同一の視覚的特徴（Faster R-CNN特徴）と答え語彙を用いて標準化され、公平な比較を保証する。
• アブレーションスタディにより、早期融合、後期融合、および統合メカニズムの貢献度を分離する。
• 共有コンponentsを用いて複数のデータセット上でエンドツーエンドに訓練することで、ドメインに依存しない推論を促進する。

実験結果

リサーチクエスチョン

• RQ1 合成データセットで訓練された最先端VQAモデルが自然画像VQAベンチマークに一般化できるか、逆に自然画像で訓練されたモデルが合成推論タスクに一般化できるか。
• RQ2 VQAモデルにおけるクロスドメイン一般化に重要な要因は何か。
• RQ3 1つの統合アーキテクチャが、自然画像と合成推論VQAデータセットの両方で最先端の性能を達成できるか。
• RQ4 早期融合やbi-GRU統合といったモデル部品が、ドメインをまたいで性能を向上させる程度はどの程度か。

主な発見

• RAMENはCLEVRで95.6%、VQAv2で76.8%の精度を達成し、両ベンチマークで最先端モデルと同等またはそれを上回る性能を示した。
• 早期融合を削除すると、CLEVRで20%の絶対的低下、VQAv2で4%の低下が生じ、早期融合が極めて重要であることが証明された。
• 後期融合は性能にほとんど影響を与えないため、推論タスクでは早期統合がより効果的であることが示された。
• bi-GRU統合機構は平均プーリングよりも性能を向上させた。これは、相互作用をモデル化し、重複を抑制するためだと考えられる。
• 評価されたすべてのモデルが、CVQA や VQACPv2 などのOODベンチマークで一般化が著しく劣っているため、データセットバイアスに依存していることが示された。
• 既存のモデルは両ドメインで優れた性能を発揮するものがないため、統合的で一般化可能なアーキテクチャの必要性が浮き彫りになった。