[論文レビュー] Estimating individual treatment effect: generalization bounds and algorithms

Uri Shalit, Fredrik Johansson+1 more|arXiv (Cornell University)|Jun 13, 2016

Advanced Causal Inference Techniques被引用数 391

ひとこと要約

この論文は、強い無視可能性の下で個体治療効果（ITE）推定誤差の境界を導出し、ITE推定を改善するために処置群と対照群をバランスさせる表現学習フレームワーク CFR を導入する。実験は最新手法と競合する性能を示している。

ABSTRACT

There is intense interest in applying machine learning to problems of causal inference in fields such as healthcare, economics and education. In particular, individual-level causal inference has important applications such as precision medicine. We give a new theoretical analysis and family of algorithms for predicting individual treatment effect (ITE) from observational data, under the assumption known as strong ignorability. The algorithms learn a "balanced" representation such that the induced treated and control distributions look similar. We give a novel, simple and intuitive generalization-error bound showing that the expected ITE estimation error of a representation is bounded by a sum of the standard generalization-error of that representation and the distance between the treated and control distributions induced by the representation. We use Integral Probability Metrics to measure distances between distributions, deriving explicit bounds for the Wasserstein and Maximum Mean Discrepancy (MMD) distances. Experiments on real and simulated data show the new algorithms match or outperform the state-of-the-art.

研究の動機と目的

• 観測データの下で強い無視可能性のもとでITEの正確な推定を動機づける。
• ITE推定の一般化誤差境界を導出し、それが事実誤差と処置群と対照群間の分布的不一致に分解される。
• ITE推定を改善するために処置分布と対照分布の間のバランスを強制する表現学習フレームワークを提案する。
• IPMベースの正則化を最適化するエンドツーエンドのニューラルネットワークベースのITE推定アルゴリズムを開発・評価する。
• 半合成データおよび実データで既存手法に対して経験的性能を示す。

提案手法

• 表現PhiとΦ上の予測各処置の結果を予測する仮説hを定義する。
• ITE誤差を事実損失とΦ空間におけるp(x|t=0)とp(x|t=1)間の分布距離に結びつけるIPMベースの境界を導出する。
• 分布的不一致を定量化するために計算可能なIPMとして Wasserstein 距離または MMD を使用する。
• CFR（Counterfactual Regression）: 処置と対照の結果を予測するためにΦと二つのヘッドh0, h1を同時に学習するエンドツーエンドのニューラルネットワークで、IPMに基づくバランス正則化項を組み込む。
• 分布的バランス項なしの TARNet バリアントを提案。
• 重み付き経験的損失とIPMベースの正則化を用いた確率勾配降下法で訓練し、PEHEの上界を最小化する。

実験結果

リサーチクエスチョン

• RQ1 観測データからのITE推定における一般化誤差はどれくらい大きいか（強い無視可能性の下で）？
• RQ2 学習された表現は処置群と対照群の分布的不一致を低減してITE推定を改善できるか？
• RQ3 IPMベースの正則化（WassersteinやMMD）は標準の共変量補正モデルと比べてITE推定を改善するか？
• RQ4 CFRアプローチは半合成データおよび実データで既存手法（例：Causal Forests、TMLE、BLR/BART）より有利か？
• RQ5 提案手法はサンプル内推定とサンプル外推定タスクでどう機能するか？

主な発見

• ITE推定誤差は事実損失の和と処置と対照表現間の分布距離項の和で上限されるという境界を示す。
• 境界は Integral Probability Metrics（IPMs）を用い、学習された表現に対して Wasserstein 距離または MMD による実用的な正則化をもたらす。
• CFR（Counterfactual Regression）というニューラルネットワークフレームワークは、処置と対照の影響を表現に保持するように別々のヘッドを持つことでITE推定を改善する。
• 半合成IHDPと実データJobsでの経験的結果は CFR およびそのバランスバリアントがいくつかのベースラインを上回り競合する最先端手法に対して良好である。
• 分布的バランス正則化を欠く TARNet バリアントは比較のために含まれている。
• このアプローチは線形モデルを超えて深層表現と非線形仮説にも一般化し、IPMベースの距離を正則化に活用する。