[論文レビュー] Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem

Yudong Han, Liqiang Nie+3 more|arXiv (Cornell University)|Jul 24, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、選別された画像の摂動を用いて、VQAにおける言語バイアス問題を軽減するための視覚的摂動に注意を払った協調学習フレームワークを提案する。このフレームワークは、インスタンス内不変性とインスタンス間の区別を強制することで、視覚的コンテンツに依存するのではなく、質問と回答の統計的相関に依存するモデルの傾向を是正する。本手法は最先端の性能を達成し、VQA-CP v1ではベースラインモデルを最大22.91%、VQA-CP v2では19.67%向上させ、バランスの取れたベンチマークでも頑健性を示す。

ABSTRACT

Several studies have recently pointed that existing Visual Question Answering (VQA) models heavily suffer from the language prior problem, which refers to capturing superficial statistical correlations between the question type and the answer whereas ignoring the image contents. Numerous efforts have been dedicated to strengthen the image dependency by creating the delicate models or introducing the extra visual annotations. However, these methods cannot sufficiently explore how the visual cues explicitly affect the learned answer representation, which is vital for language reliance alleviation. Moreover, they generally emphasize the class-level discrimination of the learned answer representation, which overlooks the more fine-grained instance-level patterns and demands further optimization. In this paper, we propose a novel collaborative learning scheme from the viewpoint of visual perturbation calibration, which can better investigate the fine-grained visual effects and mitigate the language prior problem by learning the instance-level characteristics. Specifically, we devise a visual controller to construct two sorts of curated images with different perturbation extents, based on which the collaborative learning of intra-instance invariance and inter-instance discrimination is implemented by two well-designed discriminators. Besides, we implement the information bottleneck modulator on latent space for further bias alleviation and representation calibration. We impose our visual perturbation-aware framework to three orthodox baselines and the experimental results on two diagnostic VQA-CP benchmark datasets evidently demonstrate its effectiveness. In addition, we also justify its robustness on the balanced VQA benchmark.

研究の動機と目的

• VQAにおける言語バイアス問題に対処すること。これは、モデルが視覚的コンテンツではなく質問と回答の統計的相関に依存する傾向にあるためである。
• 視覚的キューが回答表現に与える影響を明示的にモデル化すること。これは、粗いクラスレベルの区別を超えて、より細かく精巧な表現を可能にする。
• インスタンスレベルの表現学習を強化すること。これには、インスタンス内不変性とインスタンス間の区別を強制することで実現する。
• 情報ボトルネックモジュレータを用いて学習された表現を補正することで、バイアスの低減と一般化性能の向上を図ること。
• タスク固有の再トレーニングを必要とせず、既存のVQAベースラインを向上させることを可能にする、モデルに依存しないフレームワークの開発

提案手法

• 視覚的コントローラーが、クラス活性化マップに基づいて2種類の摂動画像特徴（ソフト摂動とハード摂動）を動的に生成する。
• 2つの識別器を訓練して、インスタンス内不変性（摂動間の一貫性）とインスタンス間の区別（異なるサンプルの区別可能性）を強制する。
• 潜在空間に情報ボトルネックモジュレータを適用し、判別情報は保持しつつバイアスを低減する。
• フレームワークは、不変性と区別の両方を同時に最適化する協調学習方式により、標準的なVQAモデルと統合される。
• ネガティブな回答マイニングを用いてインスタンス内学習を改善し、ハイパーパrameterがトップN個のネガティブ候補の数を制御する。
• λvib と λb などのハイパーパrameterを調整して、摂動の強度と表現補正のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 視覚的摂動に注意を払った学習により、回答表現における視覚的効果の細分化をモデル化することで、VQAにおける言語バイアスを効果的に低減できるか？
• RQ2 インスタンス内不変性とインスタンス間の区別を強制することで、バイアスの強いベンチマークにおけるモデルの頑健性と性能が向上するか？
• RQ3 診断用のVQA-CPデータセットにおいて、本手法は最先端のアプローチと比較してどのように評価されるか？
• RQ4 N′ や λb などのハイパーパrameterが、モデルの性能と表現補正に与える影響は何か？
• RQ5 このフレームワークは、標準的でバランスの取れたVQAベンチマークに一般化可能であり、ベースラインモデルを向上させることができるか？

主な発見

• 本手法は、VQA-CP v1では最先端の手法よりも全体的な正答率が1.83%絶対的に向上し、VQA-CP v2では1.86%向上した。
• VQA-CP v1ではUpDnベースラインを22.91%向上させ、VQA-CP v2では19.67%向上させ、優れた一般化性能を示した。
• バランスの取れたVQAベンチマークでも高い性能を維持しており、データバイアスの低減と推論能力の向上が裏付けられた。
• N′（ネガティブ候補の数）が約20のとき性能がピークに達し、それ以上になると低信頼度のネガティブ例が含まれるため性能が低下する。
• λb ≈ 2 で最適な性能が達成される。この値を上回ると、不変性への過剰な強調により性能が著しく低下する。
• 可視化の結果、モデルは草やボールのような誤った手がかりではなく、フリスビー や 人 などの関連する視覚的要素に注目するより正確な注目マップを学習していることが示された。