[論文レビュー] On the General Value of Evidence, and Bilingual Scene-Text Visual Question Answering

Xinyu Wang, Yuliang Liu+7 more|arXiv (Cornell University)|Feb 24, 2020

Multimodal Machine Learning Applications参考文献 33被引用数 13

ひとこと要約

この論文は、英語と中国語の質問・回答ペアを備えた二か国語対応のシーンテキスト視覚的質疑応答（VQA）データセットであるSTE-VQAを紹介し、回答に関連する画像領域をバウンディングボックスで局所化することを要件とする、根拠に基づく評価指標を提案する。回答に視覚的根拠がない場合にペナルティを科すことで、モデルが記憶に依存するのではなく推論を行うよう促し、モデルの汎化性能を著しく向上させるとともに、従来のVQAモデルが真の理解ではなくごまかしの相関関係に依存していることが明らかになった。

ABSTRACT

Visual Question Answering (VQA) methods have made incredible progress, but suffer from a failure to generalize. This is visible in the fact that they are vulnerable to learning coincidental correlations in the data rather than deeper relations between image content and ideas expressed in language. We present a dataset that takes a step towards addressing this problem in that it contains questions expressed in two languages, and an evaluation process that co-opts a well understood image-based metric to reflect the method's ability to reason. Measuring reasoning directly encourages generalization by penalizing answers that are coincidentally correct. The dataset reflects the scene-text version of the VQA problem, and the reasoning evaluation can be seen as a text-based version of a referring expression challenge. Experiments and analysis are provided that show the value of the dataset.

研究の動機と目的

• 従来の視覚的質疑応答（VQA）モデルが訓練データ内のごまかしの相関関係に依存する傾向にあり、深い推論を学習していないという、汎化の欠如に対処すること。
• 答えの正確性に加え、視覚的根拠の有無を測る新しい評価プロトコルを開発し、モデルが画像の内容について推論していることを保証すること。
• 英語と中国語のQAペアを備えた二か国語対応のシーンテキストVQAデータセット（STE-VQA）を構築し、言語間推論と汎化をテストすること。
• 従来のVQA評価プロトコルが不十分であることを示し、モデルが回答プールに過剰適合するが視覚的根拠がない場合、誤って高い正確性スコアを得られることを明らかにすること。
• 正解の回答に十分な視覚的根拠がある割合を測定する新しい指標Δrを提案し、真の理解がないにもかかわらず正解を出すモデルを特定すること。

提案手法

• 本論文は、ペアで言語と視覚的根拠がアノテートされた、シーンテキスト画像と英語・中国語の質問・回答を含む新しいデータセットSTE-VQAを紹介する。
• 各回答に対してバウンディングボックス（根拠）を出力することで、予測が画像に根拠を持つことを要件とする、画期的な評価プロトコルを提案する。
• 視覚的局所化の質を評価するために、予測されたバウンディングボックスと正例との間のオーバーラップ率（IoU）を用いる根拠に基づく指標を採用する。
• 正解の回答のうち、十分な視覚的根拠があるものの割合を測る新しい指標Δr = CLC_all / TC_allを導入し、回答空間に過剰適合するモデルを特定する。
• モデルの評価を3つのチャレンジに分けて実施：言語間（CL）、局所化（LC）、従来型（TC）。CLCは推論と言語の汎化の両方を組み合わせた主な評価タスクである。
• LoRRA や QA R-CNN といったベースラインモデルを、従来型と根拠に基づく両方のプロトコルで評価し、性能の比較と過剰適合の検出を実施する。

実験結果

リサーチクエスチョン

• RQ1 回答に視覚的根拠を要求することで、従来の正確性指標を超えてVQAモデルの汎化性能が向上するか？
• RQ2 現在のVQAモデルは、画像の内容について推論するのではなく、答えの分布を記憶している程度に依存しているか？
• RQ3 二か国語対応のシーンテキストVQAは、言語と視覚的手がかりの両方におけるモデルの汎化をどのように挑戦するか？
• RQ4 根拠に基づく評価プロトコルは、真の理解がないにもかかわらず偶然正解を出すモデルを効果的に検出できるか？
• RQ5 提案されたΔr指標は、正解だが根拠のない答えを多く出力するモデルを信頼性高く特定できるか？

主な発見

• 提案された根拠に基づく評価プロトコルにより、LoRRA や QA R-CNN といった従来のVQAモデルが、画像に根拠を持たずに正解を出すことが明らかになった。これは、ごまかしの相関関係に依存していることを示している。
• 「P+LV」と「L+LV」のようなモデルは、数値を尋ねる質問に対して頻繁に非数値の答え（例：'caffe'、'长'）を出力しており、質問の種類を正しく理解できていないことがわかる。
• バウンディングボックスが正しく予測されても、文字認識の誤り（例：'708' が '8' と誤読）により誤った答えが得られることがあり、OCRの誤りが失敗の要因であることが浮き彫りになった。
• ヒューリスティックルールを適用したQA R-CNNモデルは、従来型の正確性（TC）では最高のスコアを記録したが、Δrスコアは最低であり、回答空間に過剰適合し、多くの根拠のない答えを出力していることが示された。
• すべてのモデルが長文回答の質問に対して著しく低い性能を示しており、現在のアーキテクチャが複雑な推論に必要な複数のテキスト的ヒントを統合するのを苦手としていることがわかった。
• CLCスコア（局所化と正答の両方）は、すべてのモデルでTCに比べて著しく低下しており、視覚的根拠が強い制約であることが証明され、モデルの弱みが露呈された。