[論文レビュー] Estimation and Inference of Heterogeneous Treatment Effects using Random Forests

Stefan Wager, Susan Athey|arXiv (Cornell University)|Oct 14, 2015

Advanced Causal Inference Techniques被引用数 32

ひとこと要約

この論文は、有効な漸近的推論を可能にする非パラメトリックなランダムフォレスト手法、因果フォレストを提案している。誠実なサブサンプル木と、新しい漸近的理論を用いることで、点ごとの一致性と漸近的に正規で中心化された標本分布を達成し、複雑な交互作用を含む高次元設定でも有効な信頼区間の構築が可能になる。

ABSTRACT

Many scientific and engineering challenges -- ranging from personalized medicine to customized marketing recommendations -- require an understanding of treatment effect heterogeneity. In this paper, we develop a non-parametric causal forest for estimating heterogeneous treatment effects that extends Breiman's widely used random forest algorithm. In the potential outcomes framework with unconfoundedness, we show that causal forests are pointwise consistent for the true treatment effect, and have an asymptotically Gaussian and centered sampling distribution. We also discuss a practical method for constructing asymptotic confidence intervals for the true treatment effect that are centered at the causal forest estimates. Our theoretical results rely on a generic Gaussian theory for a large family of random forest algorithms. To our knowledge, this is the first set of results that allows any type of random forest, including classification and regression forests, to be used for provably valid statistical inference. In experiments, we find causal forests to be substantially more powerful than classical methods based on nearest-neighbor matching, especially in the presence of irrelevant covariates.

研究の動機と目的

• 古典的手法が失敗する高次元かつ複雑なデータ設定において、異質な処置効果を推定するための手法を開発すること。
• ランダムフォレストからの処置効果推定値に対する統計的推論—特に漸近的正規性と信頼区間—を理論的に裏付けたフレームワークを提供すること。
• ランダムフォレストにおける因果推論のための漸近的理論の欠如が、仮説検定や不確実性の定量化の分野での応用を阻害してきたという問題を克服すること。
• 『誠実な』木とサブサンプリングを導入することで、ランダムフォレストの枠組みを因果推論に拡張し、バイアス低減と有効な推論を保証すること。
• 近隣マッチングなどの古典的手法よりも、特に多くの共変量が存在する状況で、平均二乗誤差とカバレッジの観点から因果フォレストが優れていることを示すこと。

提案手法

• 訓練と予測が別個のサブサンプルで行われる『誠実な』回帰木から構成される因果フォレストを用いることで、バイアス低減を図る。
• 多様な木の生成を目的にサブサンプリングを適用し、高次元特徴空間における安定性の向上と過学習の低減を実現する。
• アルゴリズムは各木の葉で処置効果を推定し、木全体で予測をアグリゲートすることで、異質な処置効果の最終推定値を形成する。
• 一般化されたガウス過程理論を用いて漸近的正規性を確立し、木の誠実性と弱い依存性などの条件に依存する。
• 無限小ジャックナイフを用いて漸近的分散を推定し、推論に向けた一貫した標準誤差を提供する。
• 不要な共変量に対して頑健であり、予測に最も寄与する特徴を学習することで、複雑な高次元的相互作用に適応する。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストに基づく手法は、異質な処置効果に対する有効な統計的推論を可能にできるか？
• RQ2 ランダムフォレストにおける誠実な木とサブサンプリングの使用は、漸近的に正規でバイアスのない処置効果推定値をもたらすか？
• RQ3 高次元的共変量下で、近隣マッチングなどの古典的手法と比較して、因果フォレストの平均二乗誤差とカバレッジの観点での性能はいかがなものか？
• RQ4 回帰と分類の両設定で有効な推論を可能にするために、ランダムフォレストに一般的な漸近的理論を開発できるか？
• RQ5 データ駆動型特徴選択は、処置効果推定の精度向上とバイアス低減にどのような役割を果たすか？

主な発見

• 標準的な正則性条件の下で、因果フォレストは真の処置効果に対して点ごとの一貫性を達成し、標本サイズが増加するにつれて真の効果に収束することが保証される。
• 因果フォレスト推定子の標本分布は漸近的にガウス分布に従い、中心化されているため、処置効果の有効な信頼区間の構築が可能になる。
• 特に共変量の数が多くなったり、不要な変数が含まれたりする場合に、古典的手法の近隣マッチングよりも平均二乗誤差の観点で顕著に優れている。
• 無限小ジャックナイフは漸近的分散の一貫した推定値を提供し、実用的な推論を支える。
• 中程度の標本サイズでも、信頼区間の名目カバレッジ率を維持しており、モデルの複雑さに対して頑健であることが示された。
• 特に処置効果勾配が急な領域や共変量のサポートの境界付近では、標準的な近隣マッチング手法よりもバイアスが低減されている。