[論文レビュー] Explaining The Efficacy of Counterfactually Augmented Data

Divyansh Kaushik, Amrith Setlur+2 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 64被引用数 7

ひとこと要約

本稿は、因果的フレームワークを提案することで、反事実的に拡張されたデータ（CAD）がモデルの頑健性およびドメイン外一般化性能を向上させる理由を説明している。非因果的特徴量のノイズはドメイン外性能を向上させるが、因果的特徴量のノイズはそれを低下させる。実証的検証では、CADが特定したスパンがこの挙動を示しており、これは注意メカニズムやsalienceマップとは異なり因果的信号を捉えていることを示唆している。

ABSTRACT

In attempts to produce ML models less reliant on spurious patterns in NLP datasets, researchers have recently proposed curating counterfactually augmented data (CAD) via a human-in-the-loop process in which given some documents and their (initial) labels, humans must revise the text to make a counterfactual label applicable. Importantly, edits that are not necessary to flip the applicable label are prohibited. Models trained on the augmented data appear, empirically, to rely less on semantically irrelevant words and to generalize better out of domain. While this work draws loosely on causal thinking, the underlying causal model (even at an abstract level) and the principles underlying the observed out-of-domain improvements remain unclear. In this paper, we introduce a toy analog based on linear Gaussian models, observing interesting relationships between causal models, measurement noise, out-of-domain generalization, and reliance on spurious signals. Our analysis provides some insights that help to explain the efficacy of CAD. Moreover, we develop the hypothesis that while adding noise to causal features should degrade both in-domain and out-of-domain performance, adding noise to non-causal features should lead to relative improvements in out-of-domain performance. This idea inspires a speculative test for determining whether a feature attribution technique has identified the causal spans. If adding noise (e.g., by random word flips) to the highlighted spans degrades both in-domain and out-of-domain performance on a battery of challenge datasets, but adding noise to the complement gives improvements out-of-domain, it suggests we have identified causal spans. We present a large-scale empirical study comparing spans edited to create CAD to those selected by attention and saliency maps. Across numerous domains and models, we find that the hypothesized phenomenon is pronounced for CAD.

研究の動機と目的

• 反事実的拡張データ（CAD）が誤った相関関係への依存を低減する背後にある因果的メカニズムを解明すること。
• ノイズ注入によるテストを通じて、CADで編集された特徴量が因果的に関連しているかどうかを調査すること。
• 注意やsalienceマップなどの特徴量の帰属付け手法が、CADと同様に因果的関連スパンを同定できることを評価すること。
• 因果的特徴量と非因果的特徴量に対してノイズを注入した場合、ドメイン内およびドメイン外設定における性能の変化が予測可能かどうかを検証すること。
• 相対的性能低下の度合いを用いた診断法を提案・検証し、NLPモデルにおける因果的スパンを同定すること。

提案手法

• 因果的特徴量と非因果的特徴量にノイズを加えた効果をシミュレートするため、線形ガウス因果モデルを構築する。
• 仮説を提示：因果的特徴量にノイズを加えると、ドメイン内およびドメイン外の両方の性能が低下するが、非因果的特徴量にノイズを加えると、ドメイン内性能は低下するがドメイン外性能は向上する。
• 人間が特定した根拠（rationales）、注意、salienceマップによって特定されたスパンに対して、ランダムな語の反転（ノイズ）を注入することで、この仮説を実証的に検証する。
• ノイズを注入したデータセット上でSVM、BiLSTM、BERTを学習し、ドメイン内およびドメイン外のテストセットで性能を評価する。
• CADデータ上で学習したモデルと、他のデータソース（例：Hu et al., Li et al.）上で学習したモデルの性能変化を比較する。
• TF-IDFと注意ベースの根拠を用いてテキスト内の重要なトークンを同定・変更し、モデル挙動の変化を測定する。

実験結果

リサーチクエスチョン

• RQ1 反事実的拡張データ（CAD）が誤った信号への依存を低減する背後にある因果的構造は何か？
• RQ2 CADが特定したスパンにノイズを注入すると、因果的特徴量であると予想されるようにドメイン内およびドメイン外の両方の性能が低下するか？
• RQ3 非CADスパンにノイズを注入すると、非因果的特徴量であると予測されるようにドメイン外性能が向上するか？
• RQ4 注意やsalienceベースの特徴量帰属付け手法は、CADと比較して因果的関連スパンをどれほど正しく同定できるか？
• RQ5 ノイズ下での相対的性能低下は、NLPモデルにおける因果的スパンを同定する診断法として有効か？

主な発見

• SVMで学習したモデルは、感情分析において『ホラー』や『ロマンス』といった誤った語の依存度を顕著に低下させ、改訂済みデータでの性能が51.0%から87.3%に向上した。
• 人間が特定した根拠（CADスパン）にノイズを注入した場合、ドメイン内およびドメイン外の両方の性能が低下し、これが因果的性質を裏付けた。
• 非根拠（非CADスパン）にノイズを注入した場合、ドメイン外性能がドメイン内性能に対して向上し、非因果的特徴量がドメイン外設定でノイズによって恩恵を受けるという仮説を支持した。
• ノイズ下での性能変化の傾向は、CADが特定したスパンに対して顕著に現れたが、注意やsalienceマップで選択されたスパンでは顕著でなかったため、CADがより因果的関連の強い特徴量を同定していることが示された。
• CADデータで微調整したBERTは、改訂済みテストセットで95.1%の正確度を達成し、元のデータ（88.5%）や混合データ（81.6%）で学習したモデルを上回り、強力なドメイン外一般化性能を示した。
• SNLIタスクにおいて、CADが特定した根拠に100%のノイズを注入すると、サンプル内正確度は90.0から69.7に20.3ポイント低下し、RP（代表的性能）は66.9から51.5に15.4ポイント低下し、これが因果的役割を確認した。