[論文レビュー] DualNet: Domain-Invariant Network for Visual Question Answering

Kuniaki Saito, Andrew Shin+2 more|arXiv (Cornell University)|Jun 20, 2016

Multimodal Machine Learning Applications参考文献 19被引用数 16

ひとこと要約

DualNetは、視覚的特徴とテキスト特徴を別々に加算および乗算演算で統合することで特徴統合を向上させるドメイン不変な視覚的質問応答モデルを提案する。アテンション機構を用いないにもかかわらず、実画像および抽象的風景の両領域で優れた性能を発揮し、両領域で最先端の結果を達成する。抽象的風景の分野では、自身の以前の最先端手法（2016年VQAチャレンジからの73.29）および他の先行手法を上回る。

ABSTRACT

Visual question answering (VQA) task not only bridges the gap between images and language, but also requires that specific contents within the image are understood as indicated by linguistic context of the question, in order to generate the accurate answers. Thus, it is critical to build an efficient embedding of images and texts. We implement DualNet, which fully takes advantage of discriminative power of both image and textual features by separately performing two operations. Building an ensemble of DualNet further boosts the performance. Contrary to common belief, our method proved effective in both real images and abstract scenes, in spite of significantly different properties of respective domain. Our method was able to outperform previous state-of-the-art methods in real images category even without explicitly employing attention mechanism, and also outperformed our own state-of-the-art method in abstract scenes category, which recently won the first place in VQA Challenge 2016.

研究の動機と目的

• 実画像および抽象的風景を含む多様なドメインに広く一般化できる視覚的質問応答モデルの開発。
• アテンション機構に依存せずに、画像およびテキストモダリティ間の特徴統合を改善すること。
• 両モダリティからの判別的特徴を最大限に活用する、シンプルでありながら強力なアーキテクチャの設計。
• 実画像および抽象的風景のVQAベンチマークで最先端の性能を達成すること。
• 最小限のアーキテクチャ的複雑性でドメイン不変表現学習が可能であることを示すこと。

提案手法

• DualNetは、画像特徴とテキスト特徴に対して加算および乗算の2つの異なる演算を実行し、補完的な表現を生成する。
• 加算および乗算の各ブランチの出力を連結し、最終的な分類器に供給して回答予測を行う。
• 異なる隠れ層次元を有するDualNetモデルのアンサンブルを構築し、ロバスト性および性能を向上させる。
• 画像にはVGGまたはResNet特徴、質問にはLSTM埋め込み特徴を用い、空間的アテンションや領域レベルの監督を一切使用しない。
• 特徴統合は共有埋め込み空間で実行され、視覚的および言語的入力の統合的理解を可能にする。
• 標準的なVQAデータセット上で交差エントロピー損失を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 シンプルでアテンションに依存しないモデルが、実画像および抽象的風景の両領域で最先端の性能を達成できるか？
• RQ2 画像・テキスト特徴に対して加算と乗算の両演算を組み合わせることで、単一の演算のみを用いる場合よりも優れた表現学習が達成できるか？
• RQ3 根本的に異なる視覚的特性を持つドメインに、同一アーキテクチャが効果的に一般化できるか？
• RQ4 複雑なアテンション機構を用いずに、既存の最先端手法を上回ることは可能か？
• RQ5 異なる次元を有するモデルのアンサンブルは、抽象的風景のような低データ環境において性能にどのように影響を与えるか？

主な発見

• 実画像カテゴリでは、アテンション機構を一切使用しないにもかかわらず、テスト-stdスプリットで69.73のスコアを達成し、以前の最先端手法を上回った。
• 抽象的風景カテゴリでは、テスト-stdスプリットで74.02のスコアを達成し、以前の最先端手法（73.29）および自身の過去の最先端手法（2016年VQAチャレンジからの73.29）を上回った。
• 異なる隠れ次元を有するDualNetモデルのアンサンブルは、単一モデルと比較して抽象的風景のテスト-stdスプリットで0.76ポイントの性能向上を達成した。
• 乗算のみのブランチでは59.15の精度を達成したが、加算のみのブランチではわずか56.81にとどまり、乗算がより判別的情報を捉えていることが示された。
• 加算および乗算の両パスを組み合わせることで顕著な性能向上が得られ、補完的な情報抽出が実証された。
• 異なる視覚的特性を有する両ドメインにおいても強力な結果を達成したため、シンプルな特徴統合によりドメイン不変性が実現されたことが証明された。