[論文レビュー] Two Causal Principles for Improving Visual Dialog

Jiaxin Qi, Yulei Niu+2 more|arXiv (Cornell University)|Nov 24, 2019

Multimodal Machine Learning Applications参考文献 6被引用数 9

ひとこと要約

本論文は、視覚対話（VisDial）の性能を著しく向上させる2つのモデルに依存しない因果的原則を導入する：（1）答えのモデルへの対話履歴Hからの直接入力を排除することで、短絡的バイアスを解消する。 （2）誤った相関関係を引き起こす未観測の交絡要因であるユーザーの好みを考慮する。これらの原則を適用することで、ベースラインモデルが最先端の性能にまで向上し、VisDial v1.0で74.91%のNDCGを達成した。これは、以前の最先端（SOTA）を10ポイント以上上回っている。

ABSTRACT

This paper unravels the design tricks adopted by us, the champion team MReaL-BDAI, for Visual Dialog Challenge 2019: two causal principles for improving Visual Dialog (VisDial). By "improving", we mean that they can promote almost every existing VisDial model to the state-of-the-art performance on the leader-board. Such a major improvement is only due to our careful inspection on the causality behind the model and data, finding that the community has overlooked two causalities in VisDial. Intuitively, Principle 1 suggests: we should remove the direct input of the dialog history to the answer model, otherwise a harmful shortcut bias will be introduced; Principle 2 says: there is an unobserved confounder for history, question, and answer, leading to spurious correlations from training data. In particular, to remove the confounder suggested in Principle 2, we propose several causal intervention algorithms, which make the training fundamentally different from the traditional likelihood estimation. Note that the two principles are model-agnostic, so they are applicable in any VisDial model. The code is available at https://github.com/simpleshinobu/visdial-principles.

研究の動機と目的

• 既存のVisDialモデルに見過ごされた因果的欠陥を特定・是正し、性能を阻害する要因を解消すること。
• 標準的なアーキテクチャで生じる対話履歴Hから答えAへの直接的な接続によって引き起こされる有害な短絡的バイアスに対処すること。
• 訓練信号に歪みをもたらす未観測の交絡要因（特にユーザーの好み）をモデル化し、その影響を軽減すること。
• アーキテクチャの再設計を必要としない、あらゆるVisDialモデルに適用可能なモデルに依存しない干渉手法を開発すること。
• 強力な視覚対話システムにおいて、単なる統計的相関ではなく、因果的推論が不可欠であることを示すこと。

提案手法

• 原則1（P1）は、対話履歴Hから答えAへの直接的な因果的経路を除去することで、モデルが答えの長さや語の一致といった短絡的戦略を記憶するのを防ぐ。
• 原則2（P2）は、質問Qと答えAの両方に影響を与える未観測の交絡要因U（ユーザーの好み）を導入し、因果的干渉を用いてこれをモデル化することで、誤った相関関係を低減する。
• 因果的干渉アルゴリズムは、交絡要因の構造に基づいて訓練データを再重み付けし、標準的な尤度推定を超える。
• これらの手法は、既存のVisDialモデルにプラグインモジュールとして適用可能であり、モデルに依存しない広範な適用性を持つ。
• フレームワークは、因果的グラフを用いて誤った経路の除去と、交絡要因を考慮した構造の追加を可視化・検証する。
• 実験では、公式のVisDial v1.0 test-stdセットとオンライン評価サーバーを用い、性能向上を検証した。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存のVisDialモデルはリーダーボードでの高い性能を示しながらも一般化に失敗するのか？
• RQ2 データ生成とモデル設計におけるどのような因果的欠陥が、VisDialにおける短絡的学習を引き起こすのか？
• RQ3 未観測の交絡要因（ユーザーの好み）が、なぜVisDialの訓練において誤った相関関係を生じさせるのか？
• RQ4 モデルに依存しない因果的干渉は、多様なVisDialアーキテクチャにおいて性能を向上させることができるか？
• RQ5 因果的原則は、視覚対話システムにおける語の一致や答えの長さのバイアスをどの程度低減するのか？

主な発見

• ベースラインモデルに両原則（P1およびP2）を適用することで、VisDial v1.0におけるNDCGが約64.47%から74.91%に上昇し、以前のSOTAをはるかに上回る飛躍的向上を達成した。
• H→A経路の削除（P1）により、トップ10予測における履歴との語の一致が約10%削減され、約5,200件から約4,800件に減少した。
• 正解が「いいえ」である場合の「いいえ」の平均順位が、ベースラインの4.82からP1を適用した際の6.63に上昇した。これは、履歴語に偏ったバイアスが軽減されたことを示している。
• P2を適用したモデルは、正解「いいえ」に加えて、「はい、彼はそうです」「はい、彼はそうです」などの意味的に類似した答えをより適切にランク付けでき、NDCG向上に寄与した。
• P1+P2を組み合わせた単一モデルでも71.60%のNDCGを達成し、同じテストセットで以前のSOTAアンサンブルモデル（72.80%）を上回った。
• 2019年のVisual Dialog Challengeで最高成績を収めたモデル（NDCG 75.13%）は、本研究で提示された手法と類似した高密度微調整法を用いており、提案原則の実用的影響を裏付けている。