[論文レビュー] RealCause: Realistic Causal Inference Benchmarking

Brady Neal, Chin-Wei Huang+1 more|arXiv (Cornell University)|Nov 30, 2020

Bayesian Modeling and Causal Inference参考文献 40被引用数 6

ひとこと要約

本稿では、柔軟な生成モデルを用いて本物のデータと区別できない合成データを生成する、現実的で真の因果効果を伴う因果推論ベンチマーク「RealCause」を紹介する。本手法は、実際の共変量を学習し、処置および結果の分布をモデル化することで、真の因果効果の推定を可能にし、1,500以上の因果推定器の厳密な評価を可能にする。実世界の設定において、予測性能に基づくハイパーパrameter選択が合理的かつ有効であることが示された。

ABSTRACT

There are many different causal effect estimators in causal inference. However, it is unclear how to choose between these estimators because there is no ground-truth for causal effects. A commonly used option is to simulate synthetic data, where the ground-truth is known. However, the best causal estimators on synthetic data are unlikely to be the best causal estimators on real data. An ideal benchmark for causal estimators would both (a) yield ground-truth values of the causal effects and (b) be representative of real data. Using flexible generative models, we provide a benchmark that both yields ground-truth and is realistic. Using this benchmark, we evaluate over 1500 different causal estimators and provide evidence that it is rational to choose hyperparameters for causal estimators using predictive metrics.

研究の動機と目的

• 因果推定器の評価に適した、現実的なデータ分布と真の因果効果を併せ持つベンチマークの不足を解消すること。
• 因果推論の根本的問題である「観測されない潜在的アウトカムの欠如」を、因果効果が既知の合成データを生成することで克服すること。
• 重なりや交絡の程度が異なる多様なデータ分布を対象に、1,500以上の因果推定器の性能を評価すること。
• 予測性能指標が、因果推定器のハイパーパrameter選択を的確に導くかどうかを検証すること。
• 予測指標に基づいて因果推定器の性能を予測するオープンソースベンチマークを提供すること。

提案手法

• 実際の前処理共変量 $W$ を用いて、真のデータ分布 $P(T|W)$ と $P(Y|T,W)$ を再現する生成モデル $P_{\text{model}}(T|W)$ および $P_{\text{model}}(Y|T,W)$ を学習する。
• 実データから $W$ をサンプリングし、次に $P_{\text{model}}(T|W)$ から $T$ を、さらに $P_{\text{model}}(Y|T,W)$ から $Y$ をサンプリングすることで、合成データを生成する。
• 適合したモデルを用いて、介入分布 $P_{\text{model}}(Y|\mathrm{do}(T=1),W)$ および $P_{\text{model}}(Y|\mathrm{do}(T=0),W)$ を計算し、真の平均処置効果（ATE）を算出する。
• 真のATEが既知の合成データを用いて、標準化、層別標準化、逆確率重み付けなど多様な因果推定器を評価する。
• 結果モデルおよび感受性スコアモデルの予測性能指標（例：平均二乗誤差、バランス精度）を用いて、因果推定器のハイパーパrameter選択をガイドする。
• 複数のデータセットで、結果モデル（例：線形回帰、SVM、ランダムフォレスト）と感受性スコアモデル（例：ロジスティック回帰、kNN、QDA）の組み合わせを1,500以上にわたって学習・評価する。

実験結果

リサーチクエスチョン

• RQ1 合成ベンチマークは、現実的でかつ真の因果効果を提供できるか？
• RQ2 実世界のデータ設定において、結果モデルおよび感受性スコアモデルの予測性能指標と因果推定の正確性の間に相関があるか？
• RQ3 重なりや交絡の程度が異なる多様なデータ分布において、どの因果推定器ファミリーが最も優れた性能を示すか？
• RQ4 教師あり機械学習と同様に、予測指標を用いたハイパーパrameter選択が因果推論において合理的か？
• RQ5 1つのベンチマークが、複数の現実的で類似したデータ分布にわたって因果推定器を信頼性高くランク付けできるか？

主な発見

• RealCauseは、統計的に本物のデータと区別できないデータを生成しつつ、真の因果効果を提供でき、真の因果効果、現実性、観測されない交絡要因の不在、多様なデータ分布という4つの理想のベンチマーク基準を満たしている。
• 本ベンチマークにより、複数のデータセットで1,500以上の因果推定器設定の評価が可能となり、重なりや交絡の程度といったデータ特性に応じた性能のばらつきが明らかになった。
• 予測性能指標（例：平均二乗誤差、バランス精度）に基づくハイパーパrameter選択が、より優れた因果推定器の性能をもたらす強力な実証的証拠が得られ、因果推論におけるハイパーパラメータチューニングに機械学習的手法を適用することが有効であることを支持する。
• 感受性スコアが適切に推定された場合には、トリミングおよび安定化を施した逆確率重み付け（IPW）推定器が複数のデータセットで優れた性能を示した。
• 結果モデルが適切にキャリブレーションされた場合には、標準化および層別標準化推定器が優れた性能を示し、特に処置効果の非定常性が顕著な状況では、層別標準化（T-learner）が標準化（S-learner）を上回ることが多かった。
• オープンソースのRealCauseベンチマークには、結果モデルおよび感受性スコアモデルの予測性能と因果推定器の性能の関係を示すデータセットが含まれており、将来的なモデル選択に予測指標を活用することが可能である。