[論文レビュー] Contrast and Classify: Alternate Training for Robust VQA.

Yash Kant, Abhinav Moudgil+3 more|arXiv (Cornell University)|Oct 13, 2020

Multimodal Machine Learning Applications参考文献 10被引用数 5

ひとこと要約

本論文では、視覚質問応答（VQA）におけるロバスト性を向上させるために、交差エントロピー損失と対照的損失を交互に最適化する新しいトレーニングパラダイムConCATを提案する。言語的バリエーションを伴う増強データを活用することで、ConCATは質問の言い換えに対するモデルのロバスト性を向上させつつ、高い精度を維持し、VQA 2.0およびVQA-Rephrasingsベンチマークで既存手法を上回る性能を発揮する。

ABSTRACT

Recent Visual Question Answering (VQA) models have shown impressive performance on the VQA benchmark but remain sensitive to small linguistic variations in input questions. Existing approaches address this by augmenting the dataset with question paraphrases from visual question generation models or adversarial perturbations. These approaches use the combined data to learn an answer classifier by minimizing the standard cross-entropy loss. To more effectively leverage the augmented data, we build on the recent success in contrastive learning. We propose a novel training paradigm (ConCAT) that alternately optimizes cross-entropy and contrastive losses. The contrastive loss encourages representations to be robust to linguistic variations in questions while the cross-entropy loss preserves the discriminative power of the representations for answer classification. We find that alternately optimizing both losses is key to effective training. VQA models trained with ConCAT achieve higher consensus scores on the VQA-Rephrasings dataset as well as higher VQA accuracy on the VQA 2.0 dataset compared to existing approaches across a variety of data augmentation strategies.

研究の動機と目的

• 質問の小さな言語的変化に対して感受性が強いVQAモデルの問題を解決すること。
• 標準のVQAベンチマークにおける分類精度を損なわず、モデルのロバスト性を向上させること。
• 言い換えられた質問を用いたデータ増強を効果的に活用するトレーニングパラダイムを開発すること。
• 対照的損失と交差エントロピー損失を交互に最適化するスキームにおける併用の有効性を検証すること。
• VQA-Rephrasingsデータセットでより高いコンSENSUSスコアを達成し、VQA 2.0でより高い精度を実現すること。

提案手法

• 標準の交差エントロピー損失による回答分類の最適化と、表現のロバスト性のための対照的損失の最適化を交互に実行する。
• 対照的損失は、同じ画像-質問ペアが異なる言語的形態で与えられた場合に類似した表現を生成するように促す。
• データ増強は、視覚的質問生成モデルから生成された言い換えられた質問を用いて実施する。
• モデルは言語的変化に対して不変な表現を学習しつつ、回答予測のための判別力を維持する。
• 交互最適化スケジュールにより、ロバスト性と分類精度の両立学習がバランスよく実現される。
• 本手法は、VQA 2.0およびVQA-Rephrasingsデータセットにおいて、複数のデータ増強戦略を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 対照的損失と交差エントロピー損失の交互最適化は、質問の言い換えに対するVQAモデルのロバスト性を向上させることができるか？
• RQ2 データ増強を伴う標準トレーニングと比較して、ConCATは言い換えられた質問における精度とコンセンサススコアで優れているか？
• RQ3 交互トレーニングスケジュールは、両損失を同時に最適化するのと比較して、より優れた表現学習をもたらすか？
• RQ4 既存のアプローチと比較して、本手法はVQA-Rephrasingsベンチマークでどれほど性能を向上させるか？
• RQ5 提案手法は、標準のVQA 2.0で高い精度を維持しながら、言語的変化に対するロバスト性を向上させることができるか？

主な発見

• ConCATは、さまざまなデータ増強戦略において、既存手法と比較してVQA-Rephrasingsデータセットでより高いコンセンサススコアを達成する。
• ConCATでトレーニングされたモデルは、ベースライン手法と比較してVQA 2.0ベンチマークにおけるVQA精度が向上する。
• 対照的損失と交差エントロピー損失の交互最適化は、両損失を同時に最適化する方法や標準トレーニングよりも優れた性能をもたらす。
• 対照的損失は、質問の言語的変化に対して不変な表現を効果的に促進する。
• 本手法は、言い換えられた入力に対するロバスト性を向上させつつも、回答分類のための強い判別力を維持する。
• 結果から、トレーニングスケジュールが、ロバストなVQAのための増強データを効果的に活用する鍵要因であることが示された。