[論文レビュー] Language bias in Visual Question Answering: A Survey and Taxonomy

Desen Yuan|arXiv (Cornell University)|Nov 16, 2021

Multimodal Machine Learning Applications参考文献 102被引用数 9

ひとこと要約

本調査は、視覚質問応答（VQA）における言語バイアスに関する最初の包括的分析を提供し、緩和手法を視覚的情報の強化、言語プライアの弱体化、データ拡張／トレーニング戦略の3つに分類している。言語バイアスはモデルのロバストネスの失敗の主な要因であると特定し、因果関係に基づく手法とロングテイル学習を、VQAシステムにおける公平性と解釈可能性を向上させるための主要な今後の方向性として提案している。

ABSTRACT

Visual question answering (VQA) is a challenging task, which has attracted more and more attention in the field of computer vision and natural language processing. However, the current visual question answering has the problem of language bias, which reduces the robustness of the model and has an adverse impact on the practical application of visual question answering. In this paper, we conduct a comprehensive review and analysis of this field for the first time, and classify the existing methods according to three categories, including enhancing visual information, weakening language priors, data enhancement and training strategies. At the same time, the relevant representative methods are introduced, summarized and analyzed in turn. The causes of language bias are revealed and classified. Secondly, this paper introduces the datasets mainly used for testing, and reports the experimental results of various existing methods. Finally, we discuss the possible future research directions in this field.

研究の動機と目的

• 視覚質問応答（VQA）における言語バイアスの根本的要因と現れ方を体系的に分析すること。
• 既存の言語バイアス緩和手法を、視覚的信号の強化、言語プライアの弱体化、データ／トレーニング戦略の3つのカテゴリーに分類すること。
• 主流のVQAデータセットとベンチマーク結果をレビューし、バイアス緩和手法のパフォーマンスを評価すること。
• 未解決の課題を特定し、因果モデリングとロングテイル学習を含む今後の研究方向性を提案することで、モデルの公平性とロバストネスを向上させること。

提案手法

• 既存のVQAバイアス緩和手法を、視覚的情報の強化、言語プライアの弱体化、および特化したトレーニング戦略を用いたデータ拡張の3つの主要グループに分類する。
• 最先端のVQAモデルで用いられる主要なネットワークアーキテクチャをレビューし、視覚と言語表現を統合するマルチモーダル統合メカニズムに焦点を当てる。
• 反事後的データ拡張や因果図の構築を含む因果関係に基づくアプローチを分析し、画像の内容と質問・回答ペアの真の関係をモデル化する。
• 回答ラベルの長尾分布問題を分析し、珍しい回答カテゴリが不足していることが言語バイアスに寄与していることを明らかにする。
• 外部の知識ベースや知識グラフの統合により、バイアスのあるトレーニングデータへの依存を減らし、回答の一般化を向上させられると提案する。
• 代替シナリオ（例：物体の色を変更する）をシミュレートする反事後的思考の活用を強調し、モデルが誤った言語的相関関係を無視するように訓練する。

実験結果

リサーチクエスチョン

• RQ1 視覚質問応答システムにおける言語バイアスの主な原因と種類は何ですか？
• RQ2 既存の手法は言語バイアスをどのように分類・緩和しており、それぞれの強みと限界は何か？
• RQ3 データ分布の不均衡と長尾回答カテゴリは、VQAにおける言語バイアスにどの程度寄与していますか？
• RQ4 反事後的推論を含む因果関係ベースの手法は、画像と質問の真の依存関係をモデル化することで、言語バイアスを効果的に低減できるでしょうか？
• RQ5 外部の知識ベースと細分化されたラベル付けは、言語バイアスの低減とモデルの一般化の向上にどのような役割を果たすでしょうか？

主な発見

• VQAにおける言語バイアスは、主に質問と回答の間の誤った相関関係に起因し、モデルが視覚的情報ではなく言語的パターンに依存するようになる。
• 画像に緑色のバナナが表示されている場合でも、モデルが「イエロー」と予測するなど、強い言語的ショートカットバイアスが顕在化している。
• 回答ラベルにおけるデータの不均衡と長尾分布は、特に細分化された視覚的属性において言語バイアスを悪化させる要因となっている。
• 反事後的データ拡張のような因果関係ベースの手法は、代替シナリオをモデル化することで誤った相関関係を特定・低減する上で有望である。
• 外部の知識ベースの統合と知識グラフの活用は、バイアスのあるトレーニングデータへの依存を減らし、回答の多様性を向上させる有効な戦略として浮上している。
• 現在の手法は、珍しいまたは分布外の例における一般化にまだ苦労しており、よりロバストで因果関係に基づいた学習フレームワークの開発が求められている。