[論文レビュー] Visual Entailment Task for Visually-Grounded Language Learning

Ning Xie, Farley Lai+2 more|arXiv (Cornell University)|Nov 26, 2018

Multimodal Machine Learning Applications参考文献 22被引用数 13

ひとこと要約

この論文は、視覚言語理解へのテキスト前提のテキスト entailsion を拡張し、画像前提に基づいてテキスト仮説が含意されているかどうかを判断する新しいマルチモーダルタスクである視覚的含意（VE）を紹介する。著者らはSNLI-VEデータセットと、自己注意およびクロス注意メカニズムを用いて画像-テキストペアの推論を向上させる新しい微分可能なモデルEVEを提案し、テストセットで71.4％の精度を達成した。これは、既存のVQAベースラインを上回った。

ABSTRACT

We introduce a new inference task - Visual Entailment (VE) - which differs from traditional Textual Entailment (TE) tasks whereby a premise is defined by an image, rather than a natural language sentence as in TE tasks. A novel dataset SNLI-VE (publicly available at https://github.com/necla-ml/SNLI-VE) is proposed for VE tasks based on the Stanford Natural Language Inference corpus and Flickr30k. We introduce a differentiable architecture called the Explainable Visual Entailment model (EVE) to tackle the VE problem. EVE and several other state-of-the-art visual question answering (VQA) based models are evaluated on the SNLI-VE dataset, facilitating grounded language understanding and providing insights on how modern VQA based models perform.

研究の動機と目的

• 視覚的含意のためのwell-annotatedで現実世界のデータセットの欠如に応えるために、自然言語含意におけるテキスト前提の代わりに画像前提が使用される、現実的で注釈の施されたデータセットを提供すること。
• モデルが仮説と画像の間の含意、中立、矛盾を推論する必要がある、新しいマルチモーダル推論タスク「視覚的含意（VE）」を考案すること。
• 最先端のVQAモデルがVEに一般化できるかどうかを評価し、言語バイアスや中立ケースにおける推論の不十分さといった制限を特定すること。
• EVE（説明可能な視覚的含意）モデルと呼ばれる新しい微分可能なアーキテクチャを提案・検証し、モード内およびモード間の関係をモデル化することでVEにおける性能を向上させること。

提案手法

• SNLI-VEデータセットは、SNLIコーパスのテキスト前提をFlickr30kからの対応する画像に置き換えることで構築され、元の仮説-テキストペアが保持される。
• EVEモデルは二重ブランチアーキテクチャを採用：仮説のエンコーディングに単語埋め込みの自己注意とゲート付き再帰ユニットを用いるテキストブランチ、およびCNN特徴マップ（EVE-Image）またはMask R-CNNのオブジェクト候補（EVE-ROI）を用いる画像ブランチ。
• EVEは、関連する画像領域と仮説トークンをアライメントさせるためにテキスト-画像注意を用い、根拠に基づいた推論を可能にする。
• 自己注意は、テキストおよび画像特徴空間の両方で適用され、単純な注意を超えた内部関係や依存関係を捉える。
• ドット積演算を用いて注意された画像およびテキスト特徴を統合し、最終分類器によって関係が含意、中立、または矛盾のいずれに属するかを分類する。
• 2つのバリアントが評価された：特徴マップを使用するEVE-Imageと、検出されたオブジェクト領域を使用するEVE-ROIであり、性能を評価するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 VQAで学習した視覚言語モデルは、特に中立クラスを区別するというより洗練された視覚的含意タスクに効果的に一般化できるか？
• RQ2 仮説の前提としての画像キャプションに依存するモデルと、画像そのものに基づく直接的推論を行うモデルの間で、VEにおける性能にどのような差が生じるか？
• RQ3 自己注意およびクロス注意メカニズムは、VQAで用いられる標準的な注意メカニズムを上回って、視覚的含意にどの程度向上をもたらすか？
• RQ4 オブジェクトレベルの領域（ROIs）と密なCNN特徴のどちらが、視覚的含意においてより良い一般化をもたらすか？
• RQ5 SNLIデータセットに内在する言語バイアスはVEタスクのパフォーマンスにどのように影響するか？また、モデルはこのベースラインを上回ることができるか？

主な発見

• 提案されたSNLI-VEデータセットは公開されており、現実世界の画像と自然言語の仮説を用いた視覚的含意のための現実的で信頼できるベンチマークを提供する。
• Hypothesis Onlyベースラインは67％の精度を達成し、意味のあるモデルがこれを大きく上回る必要があることを示す強い下限を確立した。
• 画像キャプションベースラインはテストセットでたった67.47％の精度にとどまり、生成されたキャプションが効果的な含意分類に不十分または不正確であることを示唆している。
• Attention Top-Down VQAモデルはテストセットで70.59％の精度を達成し、視覚的推論における注意メカニズムの有効性を示した。
• EVE-Imageはテストセットで最高の71.4％の精度を達成し、Attention Top-Down や Attention Bottom-Up などの他のすべてのベースラインを上回った。
• EVEが既存モデルをわずかに上回る性能向上を達成した要因は、画像およびテキスト表現内の複雑な内部関係を捉える自己注意に起因する。