[論文レビュー] Counterfactual Variable Control for Robust and Interpretable Question Answering

Sicheng Yu, Yulei Niu+3 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 54被引用数 6

ひとこと要約

本稿では、因果推論を用いて包括的推論とショートカット相関を明示的に分離することで、質問応答（QA）におけるロバスト性と解釈可能性を向上させる新規手法である反事後変数制御（CVC）を提案する。マルチブランチニューラルアーキテクチャと反事後推論を活用することで、CVCは、BERTベースのQAベンチマークにおいて、敵対的攻撃に対して最先端のロバスト性を達成すると同時に、モデルの解釈可能性を維持する。

ABSTRACT

Deep neural network based question answering (QA) models are neither robust nor explainable in many cases. For example, a multiple-choice QA model, tested without any input of question, is surprisingly "capable" to predict the most of correct options. In this paper, we inspect such spurious "capability" of QA models using causal inference. We find the crux is the shortcut correlation, e.g., unrobust word alignment between passage and options learned by the models. We propose a novel approach called Counterfactual Variable Control (CVC) that explicitly mitigates any shortcut correlation and preserves the comprehensive reasoning for robust QA. Specifically, we leverage multi-branch architecture that allows us to disentangle robust and shortcut correlations in the training process of QA. We then conduct two novel CVC inference methods (on trained models) to capture the effect of comprehensive reasoning as the final prediction. For evaluation, we conduct extensive experiments using two BERT backbones on both multi-choice and span-extraction QA benchmarks. The results show that our CVC achieves high robustness against a variety of adversarial attacks in QA while maintaining good interpretation ability.

研究の動機と目的

• 最先端のQAモデルが高精度を示すにもかかわらず、ロバスト性に欠け、解釈不能である理由を解明すること。
• 質問と選択肢の間の語のアライメントといったショートカット相関が、モデルの脆さの根本的原因であると特定すること。
• 包括的推論を維持しつつ、ショートカット相関を明示的に緩和する手法を開発し、ロバストで解釈可能なQAを実現すること。
• 敵対的およびドメイン内設定の下で、多様なBERTバックボーンを用いた複数のQAベンチマークで、その手法を検証すること。

提案手法

• CVCは、ロバストな推論ブランチと複数のショートカットブランチを備えたマルチブランチニューラルネットワークアーキテクチャを採用し、学習中に推論と誤った相関を分離する。
• 本手法は、変数（例：質問）を除去した場合の効果をシミュレートする反事後分析を用い、包括的推論の寄与を分離する。
• 2つの推論手法が提案される：CVC-IV（干渉ベース）とCVC-MV（平均変動ベース）、両者ともショートカットに影響を受ける予測から差し引くことで、推論の間接的効果を推定することを目的としている。
• CVC-IVは、推論表現をマスクして反事後予測を計算し、通常の予測から差し引くことで、推論の効果を分離する。
• CVC-MVは、学習可能な制御機構を用いてショートカットブランチの影響を調整し、確率分布間の距離指標を用いた損失関数によって、分離を促進する。
• 本手法はマルチタスク学習の形で訓練され、標準的な教師あり学習を維持するとともに、テスト時に反事後推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みQAモデルが、質問入力なしでも良好に動作するにもかかわらず、なぜロバスト性に欠けるのか？
• RQ2 因果推論を用いて、QAモデルにおける包括的推論とショートカット相関を形式的に分離することは可能か？
• RQ3 反事後推論は、敵対的攻撃に対してモデルのロバスト性を向上させるとともに、標準ベンチマークでの高精度を維持できるか？
• RQ4 推論部とショートカット部の分離は、分布シフト下でのモデルの解釈可能性とパフォーマンスにどのように影響を与えるか？

主な発見

• CVCは、敵対的ベンチマークで最先端のロバスト性を達成し、MCTestでBERT-baseを用いてAdv1で56.3%、Adv2で66.2%の精度を達成した。
• ドメイン内開発セットでは、CVC-IVはMCTestで86.6%、SQuADで87.2%の精度を達成し、ベースラインモデルを上回った。
• アブレーションスタディの結果、ショートカットブランチを削除するか、代替の距離指標を用いることでパフォーマンスが低下し、CVCメカニズム全体の重要性が確認された。
• CVC-MVバージョンは、ドメイン内データにおいてCVC-IVを上回った。これは、多様なデータで学習された場合、学習可能な制御機構が一般化を向上させることを示唆している。
• 事例スタディでは、CVCが、標準モデルが誤って誘導する語のアライメントショートカットを無視して、正しい答えを正しく特定していることが示された。
• 本手法は、標準ベンチマークで高いパフォーマンスを維持するとともに、偽の相関への依存を顕著に低減しており、質問ミューティング攻撃に対しても耐性があることが実証された。