[論文レビュー] Super-CLEVR: A Virtual Benchmark to Diagnose Domain Robustness in Visual Reasoning

Zhuowan Li, Xingrui Wang+5 more|arXiv (Cornell University)|Dec 1, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、視覚的複雑さ、質問の冗長性、概念の分布、概念の構成性の4つの主要要因を分離することで、視覚的推論におけるドメインの頑健性を診断する制御可能な仮想ベンチマーク、Super-CLEVRを紹介する。これらの制御されたシフトにおいて、VQAモデルを訓練および評価する中で、特に不確実性推論を統合した新しい確率的NSVQA（P-NSVQA）を用いることで、知覚と推論を分離し、不確実性をモデル化することにより、頑健性が著しく向上することを示している。P-NSVQAは、4つのドメインシフト要因のうち3つで既存手法を上回った。

ABSTRACT

Visual Question Answering (VQA) models often perform poorly on out-of-distribution data and struggle on domain generalization. Due to the multi-modal nature of this task, multiple factors of variation are intertwined, making generalization difficult to analyze. This motivates us to introduce a virtual benchmark, Super-CLEVR, where different factors in VQA domain shifts can be isolated in order that their effects can be studied independently. Four factors are considered: visual complexity, question redundancy, concept distribution and concept compositionality. With controllably generated data, Super-CLEVR enables us to test VQA methods in situations where the test data differs from the training data along each of these axes. We study four existing methods, including two neural symbolic methods NSCL and NSVQA, and two non-symbolic methods FiLM and mDETR; and our proposed method, probabilistic NSVQA (P-NSVQA), which extends NSVQA with uncertainty reasoning. P-NSVQA outperforms other methods on three of the four domain shift factors. Our results suggest that disentangling reasoning and perception, combined with probabilistic uncertainty, form a strong VQA model that is more robust to domain shifts. The dataset and code are released at https://github.com/Lizw14/Super-CLEVR.

研究の動機と目的

• 視覚、言語、推論の間で入り組んだ変動が生じるVQAドメインシフト要因の系統的分析の不足に対処すること。
• 視覚質問応答におけるドメインシフト要因を独立して研究可能な制御可能な仮想ベンチマークの開発。
• 既存のVQAモデルを、分離されたドメインシフト要因の下で評価し、その頑健性の弱みを診断すること。
• 神経記号的VQAフレームワークに不確実性推論を統合することで、モデルの頑健性を向上させること。
• 合成的Super-CLEVRから得た知見を実世界のGQAデータセットに適用することで、実データ上での発見の妥当性を検証すること。

提案手法

• Super-CLEVRは、UDA-Partデータセットの3次元車両モデルを用いて、視覚的複雑さ、質問の冗長性、概念の分布、構成性の制御された変動を伴う合成VQAデータを生成する。
• 質問と回答はテンプレートを用いて自動生成され、各ドメインシフト要因の正確な制御が可能になる。
• ベンチマークは4つの分離されたドメインシフト軸をサポートする：(1) 視覚的複雑さ（オブジェクト数、テクスチャ）、(2) 質問の冗長性（冗長な表現対最小表現）、(3) 概念の分布（概念の事前分布のシフト）、(4) 概念の構成性（学習時に見られなかった新しい組み合わせ）。
• 4つの既存モデルが評価対象となる：FiLM（非記号的）、mDETR（大規模事前学習済み）、NSCL、NSVQA（神経記号的）。
• NSVQAの記号的実行部に不確実性推定を組み込むことで、推論ステップの確率的集約が可能な、確率的NSVQA（P-NSVQA）という新規モデルを提案する。
• 各要因ごとに、ドメイン内およびドメイン外の設定下でモデルのパフォーマンスを評価し、各手法間でのアブレーションと比較が行われる。

Figure 1 : We decompose VQA domain shifts into four contributing factors: visual complexity, question redundancy, concept distribution and concept compositionality. The domain shifts along each factor can be independently studied with the proposed Super-CLEVR dataset.

実験結果

リサーチクエスチョン

• RQ1 視覚的複雑さ、質問の冗長性、概念の分布、構成性といった異なるドメインシフト要因は、VQAモデルの頑健性にどのように影響を与えるか？
• RQ2 制御されたドメインシフト下で、モジュラーな神経記号的モデルは非モジュラーなモデルをどれほど上回るか？
• RQ3 記号的VQAモデルに不確実性推論を統合することで、多様なドメインシフト要因にわたる頑健性が向上するか？
• RQ4 Super-CLEVRのような合成ベンチマークからの発見は、GQAのような実世界のVQAデータセットにも一般化可能か？
• RQ5 具体的なアーキテクチャ的選択（例：分離された知覚／推論、不確実性モデリング）は、どのようにドメイン一般化を向上させるか？

主な発見

• P-NSVQAは、4つのドメインシフト要因のうち3つ（質問の冗長性、概念の分布、概念の構成性）で、すべてのベースラインモデルを上回った。
• 非モジュラーなモデル（FiLM や mDETR）と比較して、モジュラーな神経記号的モデル（NSVQA）は、質問の冗長性に対して優れた頑健性を示した。
• 非モジュラーなmDETRモデルは、モジュラーなモデルよりも視覚的複雑さのシフトに対してより頑健であった。これは、モularityと視覚的複雑さの頑健性の間でトレードオフがあることを示唆している。
• 実世界のGQAデータセットにおいて、mDETRは冗長な質問情報が徐々に削除されるにつれて著しく精度が低下（−14.56%）したが、神経記号的モデル（P-NSVQAは−5.78%）は比較的安定した性能を維持した。これは、Super-CLEVRの発見が実世界に一般化可能であることを確認している。
• 冗長情報が100%削除された状態で、mDETRの性能低下は−14.56%であったのに対し、P-NSVQAはわずか−5.78%にとどまり、実世界の状況下でも質問の冗長性に対して高い頑健性を示した。
• 本研究は、知覚と推論の分離に加え、明示的な不確実性モデリングが、多様なドメインシフトにわたるより強固で頑健なVQAモデルの構築に寄与することを確認した。

Figure 2 : Super-CLEVR contains 21 vehicle models belonging to 5 categories, with controllable attributes.