[論文レビュー] A Picture May Be Worth a Hundred Words for Visual Question Answering

Yusuke Hirota, Noa García+5 more|arXiv (Cornell University)|Jun 25, 2021

Multimodal Machine Learning Applications参考文献 67被引用数 4

ひとこと要約

本稿では、視覚的質問応答（VQA）において、深部視覚特徴の代わりに画像の記述（約100語）を用いる言語専用のTransformerモデルを提案する。このモデルは、VQA 2.0およびVQA-CP v2で競争力ある性能を達成しており、高品質なテキスト記述が複雑な視覚特徴に効果的に代わることを示している。これにより、計算コストを低減し、より単純で解釈可能なVQAシステムの実現が可能になる。

ABSTRACT

How far can we go with textual representations for understanding pictures? In image understanding, it is essential to use concise but detailed image representations. Deep visual features extracted by vision models, such as Faster R-CNN, are prevailing used in multiple tasks, and especially in visual question answering (VQA). However, conventional deep visual features may struggle to convey all the details in an image as we humans do. Meanwhile, with recent language models' progress, descriptive text may be an alternative to this problem. This paper delves into the effectiveness of textual representations for image understanding in the specific context of VQA. We propose to take description-question pairs as input, instead of deep visual features, and fed them into a language-only Transformer model, simplifying the process and the computational cost. We also experiment with data augmentation techniques to increase the diversity in the training set and avoid learning statistical bias. Extensive evaluations have shown that textual representations require only about a hundred words to compete with deep visual features on both VQA 2.0 and VQA-CP v2.

研究の動機と目的

• 画像のテキスト表現が、視覚的質問応答（VQA）において深部視覚特徴に効果的に代わるかどうかを調査すること。
• 画像記述と質問のペairを入力として使用する言語専用Transformerモデルの性能を評価すること。
• 一般化性能を向上させるとともにバイアスを低減するためのデータ拡張技術を検討すること。
• 競争力のあるVQA性能を達成するために必要な最小限のテキスト記述長を特定すること。
• 視覚埋め込みではなく自然言語を用いた解釈可能な画像表現の基盤を提供すること。

提案手法

• モデルは、画像記述と質問のペアを入力として処理するRoBERTaベースの言語専用Transformerを用い、エンド・ツー・エンドで答えを予測する。
• 画像表現は、COCOおよびLocalized Narrativesデータセットからの人間によるアノテーション済み記述から得られ、視覚特徴とは異なる。
• 質問と記述の両方に対して、バックトランスレーションおよび同義語置換を用いたデータ拡張を実施し、学習の多様性を向上させる。
• 標準的なVQA評価プロトコルに従い、VQA 2.0およびVQA-CP v2データセット上で微調整を実施する。
• 一貫性を確保するため、二値および非二値の正答率メトリクスを併用して性能を評価する。
• 定性的分析により、強力なベースライン（BANおよびLXMERT）との予測を比較し、推論能力および失敗モードを評価する。

実験結果

リサーチクエスチョン

• RQ1 約100語のテキスト的画像記述は、深部視覚特徴に比べてVQAにおいてどの程度効果的か？
• RQ2 視覚特徴を一切使用しない言語専用Transformerモデルが、競争力ある性能を達成できるか？
• RQ3 データ拡張技術が、テキストベースVQAモデルのロバスト性および一般化性能に与える影響は何か？
• RQ4 言語専用モデルが、記述に含まれていない細部の視覚的特徴を理解する際の限界は何か？
• RQ5 画像記述の品質がモデルの性能および一般化に与える影響は何か？

主な発見

• 言語専用モデルは、VQA 2.0およびVQA-CP v2の両方で競争力ある性能を達成し、深部視覚特徴を用いた最先端モデルを上回るか同等の性能を示した。
• 深部視覚特徴を用いたモデルと同等またはそれ以上の性能を達成するため、約100語の記述で十分であった。
• 質問のバックトランスレーションが、データ拡張技術の中で最も顕著な性能向上効果を示した。
• モデルの予測は高い一貫性を示し、同じ質問に対して80％の予測が強力なベースライン（BANおよびLXMERT）と一致した。
• 記述に関連する行動や物体の数（例：「鍋を指差している」、「6台のスノーボード」）が含まれている場合には成功したが、記述にない視覚的詳細（例：飛行機の文字を読む）を必要とする質問では失敗した。
• 記述に明示的に記載されていない微妙な文脈的関係や詳細の理解に限界が見られ、記述の品質に強く依存することが明らかになった。