[論文レビュー] Statistical Inference for Heterogeneous Treatment Effects Discovered by Generic Machine Learning in Randomized Experiments

Kosuke Imai, Michael Lingzhi Li|arXiv (Cornell University)|Mar 28, 2022

Advanced Causal Inference Techniques被引用数 4

ひとこと要約

本稿は、無作為化実験における一般化された機械学習アルゴリズムによって特定された非定型処置効果のための妥当な統計的推論フレームワークを開発する。ネイマンの繰り返しサンプリングアプローチと無作為化に基づく推論を活用することで、MLアルゴリズムの一致性を要件とせず、多くの共変量を伴う小標本においても頑健性を確保する、グループ平均処置効果（GATES）の信頼区間とノンパラメトリック検定を構築する。

ABSTRACT

Researchers are increasingly turning to machine learning (ML) algorithms to investigate causal heterogeneity in randomized experiments. Despite their promise, ML algorithms may fail to accurately ascertain heterogeneous treatment effects under practical settings with many covariates and small sample size. In addition, the quantification of estimation uncertainty remains a challenge. We develop a general approach to statistical inference for heterogeneous treatment effects discovered by a generic ML algorithm. We apply the Neyman's repeated sampling framework to a common setting, in which researchers use an ML algorithm to estimate the conditional average treatment effect and then divide the sample into several groups based on the magnitude of the estimated effects. We show how to estimate the average treatment effect within each of these groups, and construct a valid confidence interval. In addition, we develop nonparametric tests of treatment effect homogeneity across groups, and rank-consistency of within-group average treatment effects. The validity of our methodology does not rely on the properties of ML algorithms because it is solely based on the randomization of treatment assignment and random sampling of units. Finally, we generalize our methodology to the cross-fitting procedure by accounting for the additional uncertainty induced by the random splitting of data.

研究の動機と目的

• 小標本における無作為化実験で機械学習によって同定された処置効果の信頼性の高い統計的推論の欠如に対処すること。
• MLアルゴリズムの性能に依存せず、無作為処置割り当てとサンプリングにのみ依存する、有効な手法を開発すること。
• 処置効果の異質性および推定効果のグループ間順序の一貫性に対する形式的仮説検定を可能にすること。
• MLアプリケーションで一般的なデータ分割およびクロスフィットの手順に起因する不確実性を考慮すること。
• 実務研究者による手法の実装を可能にする実用的でオープンソースのRパッケージ（evalITR）を提供すること。

提案手法

• MLが予測する条件付き平均処置効果（CATE）に基づいて単位をグループ化した後、ネイマンの繰り返しサンプリングフレームワークを適用してグループ平均処置効果（GATES）を推定する。
• MLの性質に依存せず、処置の無作為割り当てと単位のサンプリングにのみ依存して、漸近的に有効な信頼区間を構築する。
• （1）グループ間での処置効果の一様性、（2）順序付きグループ間でのGATESの順序一貫性の2点について、ノンパラメトリック検定を開発する。
• 追加の不確実性を考慮して、データをフォールドにランダムに分割するクロスフィット手順に一般化する。
• サンプル分割またはクロスフィットを用いて、訓練フォールドでCATEを推定し、検証フォールドでGATESを推定した後、結果を統合する。
• 無作為化推論の原則を用いて、MLアルゴリズムが不一致またはバイアスを持つ場合でも有効な推論を保証する。

実験結果

リサーチクエスチョン

• RQ1 無作為化実験において、機械学習アルゴリズムによって同定されたグループ内での平均処置効果の信頼区間を構築できるか？
• RQ2 ML予測によって同定されたグループ間で処置効果が一様であるかどうかをどのように検定できるか？
• RQ3 グループ平均処置効果（GATES）の順序がML予測CATEスコアと一貫しているという統計的証拠はあるか？
• RQ4 クロスフィットは、単純なサンプル分割と比較して、小標本における推論効率をどのように向上させるか？
• RQ5 MLアルゴリズムがCATEを一貫して推定できない場合でも、この手法が有効な推論を保証できる範囲はどの程度か？

主な発見

• Causal Forestは、サンプル分割およびクロスフィットの両設定で、上位クインタイルのGATESが統計的に有意に正であった（推定値：$20,000）、かつクロスフィットでは信頼区間が狭くなった。
• クロスフィット設定では、Causal Forestが有意水準0.1%で処置効果の一様性の帰無仮説を棄却したが、LASSOは10%水準で棄却した。これは、処置効果の異質性に強い証拠を示している。
• BARTは両設定で一様性の帰無仮説を棄却しなかったため、グループ間での処置効果の有意な変動を検出できなかった。
• Causal Forest、BART、LASSOの3つのアルゴリズムとも、GATESの順序一貫性の帰無仮説を棄却しなかった。これは、順序の信頼性に強い証拠がないことを示している。
• クロスフィットは、単純なサンプル分割よりもGATES推定値をより精密にし、信頼区間を狭くした。これは、クロスフィットの高い推論効率を確認するものである。
• この手法は最小限の仮定（無作為割り当てとサンプリングのみ）で有効であり、MLアルゴリズムが不一致または不適切にキャリブレーションされていても頑健である。