[論文レビュー] Self-Supervised VQA: Answering Visual Questions using Images and Captions.

Pratyay Banerjee, Tejas Gokhale+2 more|arXiv (Cornell University)|Dec 4, 2020

Multimodal Machine Learning Applications参考文献 73被引用数 6

ひとこと要約

この論文は、人間がアノテートした質問-回答ペアを一切必要とせず、画像と記述文の記述のみでモデルを学習する自己教師付きVQAフレームワークを提案する。テンプレートとQASRLを用いて合成されたQ-Aペアを生成し、オブジェクト検出器の代わりに空間ピラミッド画像パッチを用いることで、VQA-v2、GQA、特にVQA-CPで優れた性能を達成した。後者では先行する教師あり手法を上回り、高価なオブジェクトアノテーションに依存せずに最先端の結果を達成した。

ABSTRACT

Methodologies for training VQA models assume the availability of datasets with human-annotated Image-Question-Answer(I-Q-A) triplets for training. This has led to a heavy reliance and overfitting on datasets and a lack of generalization to new types of questions and scenes. Moreover, these datasets exhibit annotator subjectivity, biases, and errors, along with linguistic priors, which percolate into VQA models trained on such samples. We study whether models can be trained without any human-annotated Q-A pairs, but only with images and associated text captions which are descriptive and less subjective. We present a method to train models with procedurally generated Q-A pairs from captions using techniques, such as templates and annotation frameworks like QASRL. As most VQA models rely on dense and costly object annotations extracted from object detectors, we propose spatial-pyramid image patches as a simple but effective alternative to object bounding boxes, and demonstrate that our method uses fewer human annotations. We benchmark on VQA-v2, GQA, and on VQA-CP which contains a softer version of label shift. Our methods surpass prior supervised methods on VQA-CP and are competitive with methods without object features in fully supervised setting.

研究の動機と目的

• 人間がアノテートしたI-Q-A三つ組みに依存することを減らす。これらは費用がかかり、バイアスを含み、言語的バイアスに起因する。
• 画像と記述文のみでモデルを効果的に学習できるかどうかを調査し、アノテーションバイアスを回避する。
• 高価なオブジェクト検出器への依存を最小限に抑えるために、軽量な代替手段として空間ピラミッド画像パッチを導入する。
• 特定のデータセットに過剰適合するのを防ぎ、分布外の質問やシーンへの一般化を向上させる。

提案手法

• テンプレートベースの手法とQASRLアノテーションフレームワークを用いて、画像の記述文から合成されたQ-Aペアを生成する。
• オブジェクト検出器の出力の代わりに、空間ピラミッド画像パッチを視覚的表現として使用することで、アノテーションコストを削減する。
• 手動でアノテートされたQ-Aペアを一切使用せず、画像-記述文ペアと手続き的に生成されたQ-Aデータのみで、VQAモデルをエンドツーエンドに学習する。
• 記述文の構造を活用して、視覚的内容を反映した多様で意味的に根拠のある質問を生成する。
• データ拡張とマスキング戦略を適用し、自己教師付き事前学習中に頑健性と一般化性能を向上させる。
• 追加の人間がアノテートしたQ-Aペアを一切使用せず、VQA-v2、GQA、VQA-CPといった下流のVQAベンチマークで、自己教師付きモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 人間がアノテートした質問-回答ペアが一切ない状況でも、VQAモデルを効果的に学習できるか？
• RQ2 標準的なベンチマークで評価した場合、自己教師付きVQAモデルの性能は教師ありベースラインと比べてどうか？
• RQ3 オブジェクト検出器に基づく特徴量と比較して、空間ピラミッド画像パッチは、正確性とアノテーション効率の面でどの程度優れているか？
• RQ4 人間がアノテートしたQ-Aペアが存在しないことで、モデルのバイアスが軽減され、分布外の質問への一般化が向上するか？
• RQ5 記述文から導出された合成Q-Aペアは、分布シフトに対するモデルの頑健性をテストするVQA-CPで競争力のある結果をもたらすか？

主な発見

• 提案手法は、VQA-CPベンチマークで先行する教師あり手法を上回り、分布シフトに対する頑健性が向上していることを示している。
• VQA-v2およびGQAでも競争力のある性能を達成しており、オブジェクト検出器特徴に依存せずに強力な一般化性能を示している。
• 空間ピラミッド画像パッチを用いることで、高価なオブジェクトアノテーションへの依存を軽減しながらも、高い性能を維持している。
• 直接的なQ-Aペアの教師信号を避けることで、人間がアノテートしたデータセットに存在するバイアスを効果的に軽減している。
• 記述文から生成された合成Q-Aペアは、多様で意味的に妥当な質問を生み出し、効果的な事前学習を可能にしている。
• 未学習の質問タイプや視覚的概念に対しても一般化がうまくいっており、学習データのバイアスに過剰適合している可能性が低いことが示唆されている。