[論文レビュー] Learning from Lexical Perturbations for Consistent Visual Question Answering

Spencer Whitehead, Hui Wu+4 more|arXiv (Cornell University)|Nov 26, 2020

Multimodal Machine Learning Applications参考文献 55被引用数 10

ひとこと要約

本稿では、制御された語彙的摂動を活用してモデルの頑健性を向上させる、視覚的質疑応答（VQA）のための新しい一貫性正則化手法を提案する。同種の言語的変化（例：類義語、言い換え、対義語）を伴う質問ペアを用いて訓練することで、最終的な回答だけでなく中間的推論ステップの類似性を、モジュール重み一貫性損失を介して強制し、多様な摂動タイプにわたる推論の一貫性と一般化性能を顕著に向上させる。

ABSTRACT

Existing Visual Question Answering (VQA) models are often fragile and sensitive to input variations. In this paper, we propose a novel approach to address this issue based on modular networks, which creates two questions related by linguistic perturbations and regularizes the visual reasoning process between them to be consistent during training. We show that our framework markedly improves consistency and generalization ability, demonstrating the value of controlled linguistic perturbations as a useful and currently underutilized training and regularization tool for VQA models. We also present VQA Perturbed Pairings (VQA P2), a new, low-cost benchmark and augmentation pipeline to create controllable linguistic variations of VQA questions. Our benchmark uniquely draws from large-scale linguistic resources, avoiding human annotation effort while maintaining data quality compared to generative approaches. We benchmark existing VQA models using VQA P2 and provide robustness analysis on each type of linguistic variation.

研究の動機と目的

• 微小な言語的変化（類義語の入れ替えや対義語の変更など）に対して脆弱である既存の VQA モデルの問題を是正する。
• 意味的に関連する質問に対して一貫した推論ステップを強制することで、モデルの一般化性能と頑健性を向上させる。
• 人為的アノテーションではなく、大規模な言語資源を活用して低コストかつ高品質なデータ拡張パイプラインを構築する。
• 制御された言語的摂動に対するモデルの頑健性を体系的に評価できる新しいベンチマーク、VQA P2 を構築する。
• 最終的な回答だけでなく中間的推論ステップにおける一貫性を強制することで、より信頼性が高く解釈可能な VQA モデルが得られることを示す。

提案手法

• 視覚的推論をモジュール型操作（例：物体検出、空間的推論）のシーケンスとして明示的に表現するため、ニューラルモジュールネットワーク（NMNs）を用いる。
• 大規模なテキストコーパスからのルールベースの語彙置換を用いて、意味を保ちつつ分布的現実性を維持した質問ペアを生成する。
• 各推論ステップにおいて、元の質問と摂動を加えた質問のモジュール重み分布の L2 差を最小化する、新しい正則化損失 Q3R を導入する。
• 標準的な VQA 損失と Q3R 一貫性損失の両方を用いて、意味的に関連する質問に対して同一の推論パスを促進するように、モデルをエンドツーエンドで訓練する。
• WordNet や類義語データベースなどの公開済み言語資源を活用し、人為的ラベルなしに多様で高品質な摂動を自動生成する。
• VQA v2 から抽出された 36.2k の摂動を加えた質問ペアを含む、VQA P2 をベンチマークデータセットとして設計し、類義的、言い換え的、対義的タイプに分類して診断的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 意味的に関連するが言語的に変化させた質問に対して、既存の VQA モデルはどの程度一貫した推論を維持できないのか？
• RQ2 最終的な回答だけでなく中間的推論ステップにおける一貫性を強制することで、語彙的摂動に対するモデルの頑健性は向上するのか？
• RQ3 大規模なテキストコーパスからの自動的・ルールベースの語彙置換に基づくデータ拡張戦略は、人為的アノテーションや生成的手法と比較してどの程度有効なのか？
• RQ4 提案された Q3R 正則化手法は、多様な言語的変動タイプにわたって一貫性と精度の両面で測定可能な改善をもたらすのか？
• RQ5 このフレームワークは NMN を超えて、実行可能な推論プログラムに依存する他の解釈可能でモジュール型の VQA アーキテクチャにも一般化可能か？

主な発見

• Q3R 正則化手法により、元の質問と摂動を加えた質問間のモジュール重み分布の平均ノルム差が 93% 減少し、7.4×10⁻³ から 0.5×10⁻³ に低下した。これは推論ステップにおける強い一貫性を示している。
• VQA P2 ベンチマークにおいて、Q3R で正則化されたモデルは、ベースモデルと比較して対義的摂動で 9.4% の絶対的改善を達成し、類義的ペアでは最大 10.2% の向上を示した。
• Q3R を用いた StackNMN は、対義的ペアで CS 84.7 を達成し、ベースモデルと比較して 10.6 ポints の上昇を示し、意味的に逆転した質問に対する顕著な頑健性向上を示した。
• 全体の VQA v2 検証精度においても、異なるアーキテクチャで 1.6 ポイントのわずかだが一貫した向上を示し、より広範な一般化効果を示した。
• 人為的再表現（VQA-Rephrasings）の評価では、Q3R 正則化済みの XNM モデルが +0.7 の精度向上と +0.4 の CS 向上を達成し、実世界の言い換えにまで汎用性があることを示した。
• Q3R 正則化済みモデルの視覚的注目マップは、より直感的かつ安定した注目パターンを示し、解釈可能性と推論の正確性の向上を示唆した。