[論文レビュー] Causality-aware counterfactual confounding adjustment as an alternative to linear residualization in anticausal prediction tasks based on linear learners

Elias Chaibub Neto|arXiv (Cornell University)|Nov 9, 2020

Bayesian Modeling and Causal Inference参考文献 26被引用数 6

ひとこと要約

本論文は、線形学習者を用いた反因果的予測タスクにおいて、線形の残差化よりも優れた代替手法として、因果関係に配慮した反事実的交絡調整を提案する。交絡要因に起因する誤った関連性を除去する反事実的入力を生成することで、特徴量と結果の間の共分散が漸近的に強化され、データセットシフト下でも予測性能が向上し、より高い耐性を示す。これは、真のデータ生成過程が非線形であっても同様に成り立つ。

ABSTRACT

Linear residualization is a common practice for confounding adjustment in machine learning (ML) applications. Recently, causality-aware predictive modeling has been proposed as an alternative causality-inspired approach for adjusting for confounders. The basic idea is to simulate counterfactual data that is free from the spurious associations generated by the observed confounders. In this paper, we compare the linear residualization approach against the causality-aware confounding adjustment in anticausal prediction tasks, and show that the causality-aware approach tends to (asymptotically) outperform the residualization adjustment in terms of predictive performance in linear learners. Importantly, our results still holds even when the true model is not linear. We illustrate our results in both regression and classification tasks, where we compared the causality-aware and residualization approaches using mean squared errors and classification accuracy in synthetic data experiments where the linear regression model is mispecified, as well as, when the linear model is correctly specified. Furthermore, we illustrate how the causality-aware approach is more stable than residualization with respect to dataset shifts in the joint distribution of the confounders and outcome variables.

研究の動機と目的

• 結果が入力特徴量に因果的に影響を与える（反因果的タスク）機械学習の応用、例えば神経画像診断分野において交絡要因を扱うことを目的とする。
• 線形の残差化と因果関係に配慮した反事実的交絡調整手法の予測性能を比較することを目的とする。
• 交絡要因と結果の連合分布に変化が生じるデータセットシフト下で、両手法の安定性を評価することを目的とする。
• 真のデータ生成過程が非線形であっても、因果関係に配慮したアプローチが優れた性能を維持することを示すこと

提案手法

• 因果関係に配慮した手法では、各入力変数を交絡要因と結果の両方に対して回帰し、交絡要因を除いた予測子に推定された残差を加算することで反事実的入力を生成する。
• これにより、交絡要因によって引き起こされる誤った関連性が排除された特徴量が得られ、入力と結果の真の因果関係が保持される。
• このアプローチは、交絡要因の影響を線形モデルで推定し、その後残差に基づく反事実的再構築を実行することで実装される。
• 性能評価は、合成データにおける回帰タスクの平均二乗誤差と分類タスクの分類精度を用いる。
• データセットシフトの下での安定性は、テストセットごとに交わる交絡要因と結果の連合分布を変化させることでテストされる。
• 理論的分析により、因果関係に配慮した特徴量と結果の間の共分散は、残差化された特徴量よりも漸近的に強く保たれることが示された。

実験結果

リサーチクエスチョン

• RQ1 反因果的線形予測タスクにおいて、因果関係に配慮した反事実的交絡調整は、線形の残差化よりも高い予測精度を達成するか？
• RQ2 真のデータ生成過程が非線形であるにもかかわらず、線形調整を用いる場合、因果関係に配慮した手法はどのように性能を発揮するか？
• RQ3 交わる交絡要因と結果変数の連合分布にデータセットシフトが生じる場合、因果関係に配慮したアプローチは残差化よりも安定性が高いか？
• RQ4 モデルの誤指定下でも、因果関係に配慮した手法は残差化よりも強い特徴量-結果の共分散を維持できるか？

主な発見

• 因果関係に配慮した手法は、線形の残差化よりも特徴量と結果の間の共分散を漸近的に強くし、線形学習者における予測性能の向上に寄与する。
• 真のモデルが線形に誤って指定されていなくても、回帰タスクにおける平均二乗誤差の観点で、因果関係に配慮した手法は残差化を上回る。
• 分類タスクにおいても、モデルが正しく指定されていなくても、誤って指定されていなくても、因果関係に配慮した手法は残差化よりも高い正答率を達成する。
• 交わる交絡要因と結果の連合分布に変化が生じるデータセットシフト下でも、因果関係に配慮した手法は残差化よりも顕著に高い安定性を示す。
• 真のデータ生成過程が非線形であっても理論的結果が成立することから、モデルの誤指定に対しても強い耐性があることが示された。
• 1,000回の再現実験からの実証的結果は、因果関係に配慮した手法が多様なテスト分布において一貫した性能を維持している一方で、残差化の性能はシフト下で劣化することを確認した。