[論文レビュー] Visual Entailment: A Novel Task for Fine-Grained Image Understanding

Ning Xie, Farley Lai+2 more|arXiv (Cornell University)|Jan 20, 2019

Multimodal Machine Learning Applications参考文献 73被引用数 162

ひとこと要約

この論文は Visual Entailment (VE) を導入します。VE は画像の前提を用いて自然言語の仮説が含意、ニュートラル、または矛盾するかを判断するクロスモーダルタスクであり、SNLI-VE データセットと Explainable Visual Entailment (EVE) モデルを提示します。

ABSTRACT

Existing visual reasoning datasets such as Visual Question Answering (VQA), often suffer from biases conditioned on the question, image or answer distributions. The recently proposed CLEVR dataset addresses these limitations and requires fine-grained reasoning but the dataset is synthetic and consists of similar objects and sentence structures across the dataset. In this paper, we introduce a new inference task, Visual Entailment (VE) - consisting of image-sentence pairs whereby a premise is defined by an image, rather than a natural language sentence as in traditional Textual Entailment tasks. The goal of a trained VE model is to predict whether the image semantically entails the text. To realize this task, we build a dataset SNLI-VE based on the Stanford Natural Language Inference corpus and Flickr30k dataset. We evaluate various existing VQA baselines and build a model called Explainable Visual Entailment (EVE) system to address the VE task. EVE achieves up to 71% accuracy and outperforms several other state-of-the-art VQA based models. Finally, we demonstrate the explainability of EVE through cross-modal attention visualizations. The SNLI-VE dataset is publicly available at https://github.com/ necla-ml/SNLI-VE.

研究の動機と目的

• VQA データセットに存在するバイアスを緩和するクロスモーダル推論タスクを動機づける。
• 画像の前提が仮説の真偽を決定する Visual Entailment (VE) を導入する。
• VE のリアルワールド画像と SNLI ベースの仮説データセットとして SNLI-VE を作成する。
• 注意機構を用いてクロスモーダル推論を可視化する解釈可能な VE モデル (EVE) を開発する。

提案手法

• VE を三クラス（含意、ニュートラル、矛盾）タスクとして、画像の前提とテキスト仮説を定義する。
• SNLI-VE を Flickr30k の画像と SNLI 仮説を組み合わせ、分割を分離しバイアスを考慮して作成する。
• EVE を、テキストと画像領域の自己注意を用いる二重ブランチのモデルとして提案し、クロスモーダル融合のためのテキスト-画像の注意を導入する。
• GloVe 域嵌めと Adam 最適化を用いて、EVE を VQA ベースラインや画像キャプションベースラインと比較する。
• モデルの解釈性を示すために 注意の可視化を提供する。

実験結果

リサーチクエスチョン

• RQ1 実世界の画像と SNLI 風の仮説の組み合わせを、含意・ニュートラル・矛盾へ信頼性高く分類できるか？
• RQ2 クロスモーダルな注意機構は、VE の精度を VQA ベースラインより改善するか？
• RQ3 説明可能な注意ベースの VE モデルは、SNLI-VE で最先端の VQA の性能に匹敵するか、あるいは上回るか？
• RQ4 画像特徴量（全マップ対 ROI） は VE の性能と解釈性にどのように影響するか？

主な発見

Model Name	Val Acc Overall (%)	C	N	E	Test Acc Overall (%)	C	N	E
Hypothesis Only	66.68	67.54	66.90	65.60	66.71	67.60	67.71	64.83
Image Captioning	67.83	66.61	69.23	67.65	67.67	66.25	70.69	66.08
Relational Network	67.56	67.86	67.80	67.02	67.55	67.29	68.86	66.50
Attention Top-Down	70.53	70.23	68.66	72.71	70.30	69.72	69.33	71.86
Attention Bottom-Up	69.34	71.26	70.10	66.67	68.90	70.52	70.96	65.23
EVE-Image*	71.56	71.04	70.55	73.10	71.16	71.56	70.52	71.39
EVE-ROI*	70.81	68.55	68.78	75.10	70.47	67.69	74.25	74.25

• EVE-Image は検証精度が最大で 71.56%、テスト精度が 71.16% で、いくつかのベースラインを上回っている。
• EVE-ROI は検証 70.81%、テスト 70.47%、自己注意とクロスモーダル注意が有効であることを示す。<br> 注意に基づくモデルは、SNLI-VE において標準的な VQA ベースラインを上回る。
• 仮説のみのベースラインは約 66-67% の精度に達し、データに固有のバイアスと画像誘導推論の必要性を示唆している。
• 画像キャプションを前提ソースとして用いても VE のための利得は限定的であり、キャプションは重要な詳細を見落とす可能性があることを示唆する。
• 従来の Relational Networks は SNLI-VE で限られた利得しか提供せず、より豊かなクロスモーダル相互作用モデリングの必要性を浮き彫りにしている。
• EVE モデルは、画像領域と仮説を結ぶ解釈可能な注意の可視化を提供する。