[論文レビュー] Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests

Victor Veitch, Alexander D’Amour+2 more|arXiv (Cornell University)|May 31, 2021

Topic Modeling被引用数 17

ひとこと要約

この論文は、反事後的不変性を通じて機械学習におけるストレステストを形式化し、予測器が関係のない入力特徴（例：テキストにおける性別やセンチメント）が摂動されても変わらぬようにするべきであることを示している。因果構造に基づいた観察可能でテスト可能な条件を導出し、因果的データモデルと反因果的データモデルを区別し、ドメインシフトに対して頑健な予測器を学習するための正則化手法を提供している。テキスト分類における実証的検証も行われている。

ABSTRACT

Informally, a 'spurious correlation' is the dependence of a model on some aspect of the input data that an analyst thinks shouldn't matter. In machine learning, these have a know-it-when-you-see-it character; e.g., changing the gender of a sentence's subject changes a sentiment predictor's output. To check for spurious correlations, we can 'stress test' models by perturbing irrelevant parts of input data and seeing if model predictions change. In this paper, we study stress testing using the tools of causal inference. We introduce counterfactual invariance as a formalization of the requirement that changing irrelevant parts of the input shouldn't change model predictions. We connect counterfactual invariance to out-of-domain model performance, and provide practical schemes for learning (approximately) counterfactual invariant predictors (without access to counterfactual examples). It turns out that both the means and implications of counterfactual invariance depend fundamentally on the true underlying causal structure of the data -- in particular, whether the label causes the features or the features cause the label. Distinct causal structures require distinct regularization schemes to induce counterfactual invariance. Similarly, counterfactual invariance implies different domain shift guarantees depending on the underlying causal structure. This theory is supported by empirical results on text classification.

研究の動機と目的

• ストレステストを反事後的不変性として形式化し、予測器が無関係な入力特徴（例：性別やセンチメント）に干渉されても予測が安定することを保証すること。
• 背後にある因果構造を分析することで、反事後的不変性とドメイン外一般化との関係を明確にすること。
• 反事後的不変性を実現するための実用的でデータ駆動型の正則化手法を開発し、反事後的例へのアクセスを必要としないこと。
• 異なる因果構造（因果的 vs. 反因果的）が、不変性と頑健性を達成するための異なる訓練戦略を必要とすることを示すこと。

提案手法

• 反事後的不変性を形式的条件として導入：予測器は、スプライアス特徴Zの干渉に対してほぼ everywhere で同じ出力を生成しなければならない、すなわち f(X(z)) = f(X(z')) が成り立つこと。
• 条件付きおよび周辺的独立性基準（例：f(X) ⊥ Z | Y）を用いて、反事後的不変性の観察可能な含意を導出し、これらは観測データ上でテスト可能である。
• 訓練中にこれらの独立性条件を強制する正則化スキームを提案し、反事後的例の生成を必要とせずに、近似的な反事後的不変性を実現可能にする。
• 2つの主要な因果構造を区別する：(1) Y が X を引き起こし、Z が X に影響を与える（因果的方向）、(2) Z と Y が共通原因を持つが、X は両者の関数である（反因果的方向）。それぞれ異なる正則化戦略を必要とする。
• テキスト分類にこのフレームワークを適用し、実世界のデータセットを用いて、これらの基準に従って訓練されたモデルがストレステストに合格し、ドメインシフト下でもより良い一般化を示すことを検証した。
• 反事後的不変性を公平性とドメイン適応に結びつける。特に、特定の解釈下では、デモグラフィックパリティや等しいオッズといった概念と同等であることを示した。

実験結果

リサーチクエスチョン

• RQ1 因果推論を用いて、スプライアス相関に対して頑健なモデルのためのストレステストをどのように形式化できるか？
• RQ2 反事後的不変性を示す観察可能でテスト可能な条件は、現実世界のデータでどのようなものか？
• RQ3 背後にある因果構造（因果的 vs. 反因果的）は、反事後的不変性を達成するための正則化手法の設計にどのように影響するか？
• RQ4 反事後的不変性はドメイン外一般化に対してどのような保証を提供するのか？また、因果構造によってその保証はどのように変化するか？
• RQ5 反事後的例へのアクセスがなくても、反事後的不変性を強制できるか？もし可能であれば、その方法は何か？

主な発見

• 反事後的不変性は、Z のサポート上のすべての z, z' に対して f(X(z)) = f(X(z')) が成り立つ条件として形式化され、予測が無関係な摂動に対して不変であることを保証する。
• 本論文は、2つの明確に異なる因果構造—因果的（Y → X, Z → X）と反因果的（Z と Y が共通原因を持つ）—を特定し、それぞれが根本的に異なる正則化戦略を必要とすることが判明した。
• 観察可能な独立性基準（例：f(X) ⊥ Z | Y）が反事後的不変性の十分条件として導出され、反事後的データが不要な訓練が可能になる。
• 本手法はドメイン外一般化を向上させ、因果構造が正しく特定された場合に、これらの基準に従って訓練されたモデルが分布シフトに対してより頑健であることが示された。
• テキスト分類における実証的結果から、提案された正則化スキームを用いて訓練されたモデルがストレステストに合格し、ドメインシフト下でもより良い一般化を示すことが確認された。
• フレームワークは、反事後的公平性に由来する正則化の素朴な適用（例：反事後的公平性からのもの）が反因果的状況では失敗する可能性があることを明らかにした。これは、構造に配慮した設計の必要性を強調している。