[論文レビュー] Yin and Yang: Balancing and Answering Binary Visual Questions

Peng Zhang, Yash Goyal+3 more|arXiv (Cornell University)|Nov 16, 2015

Multimodal Machine Learning Applications参考文献 35被引用数 39

ひとこと要約

本論文では、言語的バイアスを排除し、モデルが視覚的理解なしに答えてしまうのを防ぐために、抽象的風景を用いたバランスの取れたバイナリービジュー・クイズアドバイス（VQA）フレームワークを提案する。質問を視覚的検証タスクとして定式化し、言語的解析によって照会概念（P, S, R）を抽出し、それらが画像に存在するかを検証することで、バランスの取れたデータセット上で最先端の性能を達成した。従来の実画像データに依存するモデルよりも優れた性能を示した。

ABSTRACT

The complex compositional structure of language makes problems at the intersection of vision and language challenging. But language also provides a strong prior that can result in good superficial performance, without the underlying models truly understanding the visual content. This can hinder progress in pushing state of art in the computer vision aspects of multi-modal AI. In this paper, we address binary Visual Question Answering (VQA) on abstract scenes. We formulate this problem as visual verification of concepts inquired in the questions. Specifically, we convert the question to a tuple that concisely summarizes the visual concept to be detected in the image. If the concept can be found in the image, the answer to the question is "yes", and otherwise "no". Abstract scenes play two roles (1) They allow us to focus on the high-level semantics of the VQA task as opposed to the low-level recognition problems, and perhaps more importantly, (2) They provide us the modality to balance the dataset such that language priors are controlled, and the role of vision is essential. In particular, we collect fine-grained pairs of scenes for every question, such that the answer to the question is "yes" for one scene, and "no" for the other for the exact same question. Indeed, language priors alone do not perform better than chance on our balanced dataset. Moreover, our proposed approach matches the performance of a state-of-the-art VQA approach on the unbalanced dataset, and outperforms it on the balanced dataset.

研究の動機と目的

• バイナリービジュー・クイズアドバイス（VQA）における言語的バイアスの広範な問題に対処し、モデルが画像を確認せずに正しく答えてしまうのを防ぐ。
• 同じ質問に対して逆の答えを持つペaired抽象的風景を用いて、言語統計によって片方が優位になることがないバランスの取れたデータセットを設計する。
• 質問を構造化されたコンponents（P, S, R）に分解し、それらが画像に存在するかを検証する視覚的検証フレームワークを開発する。
• モデルが訓練データにおける画像に依存しない統計的バイアスに依存せず、真に視覚的コンテンツを理解することで、バランスの取れたデータ上で高い正確性を達成できることを示す。

提案手法

• 本手法は、Stanford依存性解析と品詞タグ付けを用いて、各バイナリービジュー・クイズアドバイス（VQA）質問を、主語（P）、目的語（S）、関係語（R）を表す構造化されたタプル（P, S, R）に変換する。
• P（主語）は文の名詞的主語または受動態の主語とされ、その後に前置詞と目的語または場所名が続く。
• S（目的語）はPの直後に続く最初の名詞として抽出され、それに付随する形容詞も含む。'前で'などの特別なフレーズは例外として扱う。
• R（関係語）はPとSの後に続くすべての語に割り当てられ、照会に関連する動詞や修飾語を捉える。
• モデルは、PおよびSのコンponentsに対応する画像領域に注目し、記述された概念が存在するかを検証することで視覚的検証を実行する。
• システムは、同じ質問に対して一方の画像では「はい」、もう一方では「いいえ」という答えを持つ、ペア化された抽象的風景の新しいバランスの取れたデータセット上で訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 抽象的風景を用いたバランスの取れたデータセットの構築によって、バイナリービジュー・クイズアドバイス（VQA）における言語的バイアスを効果的に中和できるか？
• RQ2 質問の言語的解析に基づく視覚的検証アプローチは、エンドツーエンドモデルと比較して、偏りのないデータセット上で性能を向上させることができるか？
• RQ3 モデルが訓練データにおける画像に依存しない統計的バイアスに依存せずに、バイナリービジュー・クイズアドバイス（VQA）で高い正確性を達成できる程度はどの程度か？
• RQ4 質問からP、S、Rの構造化された概念を抽出することで、より解釈可能で正確な視覚的推論が可能になるか？

主な発見

• 提案手法は、非バランスの取れたMS COCOベースのVQAデータセットにおいて、最先端のVQAモデルと同等の性能を達成した。これは、競争力のある性能であることを示している。
• バランスの取れたデータセットにおいて、同じ最先端モデルと比較して、提案手法が顕著に優れた性能を示した。これは、視覚的理解を活用しているのではなく言語バイアスに依存しているモデルとは対照的である。
• 言語のみのモデルは、質問の統計情報のみを用いてバイナリービジュー・クイズアドバイス（VQA）で78％以上の正確性を達成した。これは、既存のベンチマークにおけるデータセットバイアスの深刻さを示している。
• バランスの取れたデータセットは言語的バイアスを排除した。言語のみのモデルは、新しいデータセットでは運の要素（50％）でしか性能を発揮しなかった。これは、統計的ショートカットが存在しないことを確認している。
• 抽象的風景の使用により、視覚的理解の制御された評価が可能となり、低レベルの認識課題とは分離された意味的推論の評価が可能になった。
• 質問のP、S、Rコンponentsへの構造化された解析により、正確な視覚的検証が可能となり、モデルの解釈可能性と頑健性が向上した。