[論文レビュー] Fisher-Schultz Lecture: Generic Machine Learning Inference on Heterogenous Treatment Effects in Randomized Experiments, with an Application to Immunization in India

Victor Chernozhukov, Mert Demirer+2 more|arXiv (Cornell University)|Dec 13, 2017

Advanced Causal Inference Techniques被引用数 9

ひとこと要約

本稿は、反復的データ分割と分位数集約を活用することで、有効な推論を保証する、機械学習プロキシを用いたランダム化比較試験における異質的処置効果の推定・推論のための汎用的で中立的なフレームワークを提案する。強いモデル仮定を必要とせず、意味のある異質性の同定を可能にし、インドにおける予防接種のナッジ効果が非常に文脈依存的であることが応用で示された。

ABSTRACT

We propose strategies to estimate and make inference on key features of heterogeneous effects in randomized experiments. These key features include best linear predictors of the effects using machine learning proxies, average effects sorted by impact groups, and average characteristics of most and least impacted units. The approach is valid in high dimensional settings, where the effects are proxied (but not necessarily consistently estimated) by predictive and causal machine learning methods. We post-process these proxies into estimates of the key features. Our approach is generic, it can be used in conjunction with penalized methods, neural networks, random forests, boosted trees, and ensemble methods, both predictive and causal. Estimation and inference are based on repeated data splitting to avoid overfitting and achieve validity. We use quantile aggregation of the results across many potential splits, in particular taking medians of p-values and medians and other quantiles of confidence intervals. We show that quantile aggregation lowers estimation risks over a single split procedure, and establish its principal inferential properties. Finally, our analysis reveals ways to build provably better machine learning proxies through causal learning: we can use the objective functions that we develop to construct the best linear predictors of the effects, to obtain better machine learning proxies in the initial step. We illustrate the use of both inferential tools and causal learners with a randomized field experiment that evaluates a combination of nudges to stimulate demand for immunization in India.

研究の動機と目的

• 機械学習プロキシを用いて、ランダム化比較試験における異質的処置効果を推定・推論する汎用的で中立的な手法を開発すること。
• 反復的データ分割と結果の分位数集約を用いて、サブグループ分析における過剰適合とpハッキングの問題を緩和すること。
• 事前にサブグループやパラメトリック形式を指定する必要なく、処置効果の意味のある異質性の発見を可能にすること。
• インドの予防接種に関するランダム化試験の実世界データを用いて、高次元設定下での手法の妥当性と頑健性を示すこと。
• 因果学習を用いて、処置効果のより良い線形予測子を構築することで、機械学習プロキシの質を向上させること。

提案手法

• 過剰適合を回避し、高次元設定下での有効な推論を保証するために、反復的データ分割を用いる。
• 複数回の分割におけるp値および信頼区間の中央値（特に中央値）を用いた分位数集約を実施し、再現性リスクを低減する。
• ランダムフォレスト、ニューラルネットワーク、lassoなどから得られる機械学習プロキシを後処理し、主な特徴量の推定値（最良の線形予測子、順序付き平均効果、最も／最も影響を受けない単位の特徴）を算出する。
• 機械学習手法を用いて結果と傾向スコアの両方を推定する二重ロバスト枠組みを採用し、弱い仮定のもとで一貫性を確保する。
• 最良の線形予測子の目的関数を用いて、因果学習を通じて反復的に機械学習プロキシを改善する。
• 目的関数を一般化信号（例：分布シフト下での条件付き平均因果効果の導関数など）として扱うことで、他の因果推論問題へ一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 事前にサブグループを指定せずに、ランダム化比較試験において異質的処置効果を信頼性高く検出・推定できるか？
• RQ2 高次元設定下で機械学習プロキシを処置効果の推定に用いる場合、どのようにして有効な推論を保証できるか？
• RQ3 反復的データ分割と分位数集約は、推定リスクの低減と推論の頑健性向上にどのような影響を及えるか？
• RQ4 因果学習は、処置効果推定に用いられる機械学習プロキシの質を向上させることができるか？
• RQ5 インドにおける予防接種の行動的ナッジは、村ごとの違いに応じてどの程度異質的効果を示すか？

主な発見

• この手法は、小さなインcentives、情報ハブ、SMSリマインダーを組み合わせた予防接種ナッジが、大きな文脈依存的効果を持つことを明確に特定した。一部の村では逆効果を示す可能性もある。
• 単一分割手順と比較して、分位数集約は推定リスクを顕著に低減し、推論の信頼性を向上させた。
• このアプローチは、サブグループ分析における表面的な異質性が多くの場合誤りであることを明らかにした。体系的な機械学習ベースの推論は、誤った発見を防ぐ。
• 因果学習により、処置効果のより良い線形予測子が構築され、予測精度が向上した。
• インドの予防接種研究において、最も効果的な介入は、ベースラインの接種率が低い村でのみ費用対効果が高かった。これは、文脈に応じたパイロット実験の重要性を示唆している。
• 機械学習プロキシが一貫して推定されない場合でも、この手法は有効性を維持するため、モデルの誤指定に対しても頑健である。