[論文レビュー] Orthogonal Random Forest for Causal Inference

Miruna Oprescu, Vasilis Syrgkanis+1 more|arXiv (Cornell University)|Jun 9, 2018

Advanced Causal Inference Techniques被引用数 31

ひとこと要約

本稿では、Neyman直交性と一般化ランダムフォレストを組み合わせることで、高次元の観察データにおける異質的処置効果のロバストで非パラメトリックな推定を可能にする、新たなアルゴリズムである直交ランダムフォレスト（ORF）を提案する。弱い一貫性条件の下で、ヌイアンス関数の推定誤差が存在しても漸近正規性と有効な推論を達成でき、また局所的にスパース構造を持つ高次元のヌイアンス推定に向けた新しいフォレストラasso法を提供する。

ABSTRACT

We propose the orthogonal random forest, an algorithm that combines Neyman-orthogonality to reduce sensitivity with respect to estimation error of nuisance parameters with generalized random forests (Athey et al., 2017)--a flexible non-parametric method for statistical estimation of conditional moment models using random forests. We provide a consistency rate and establish asymptotic normality for our estimator. We show that under mild assumptions on the consistency rate of the nuisance estimator, we can achieve the same error rate as an oracle with a priori knowledge of these nuisance parameters. We show that when the nuisance functions have a locally sparse parametrization, then a local $\ell_1$-penalized regression achieves the required rate. We apply our method to estimate heterogeneous treatment effects from observational data with discrete treatments or continuous treatments, and we show that, unlike prior work, our method provably allows to control for a high-dimensional set of variables under standard sparsity conditions. We also provide a comprehensive empirical evaluation of our algorithm on both synthetic and real data.

研究の動機と目的

• 高次元の交絡要因を伴う観察データにおける異質的処置効果の推定という課題に対処すること。
• ヌイアンス関数の推定誤差が存在しても、漸近正規性と有効な推論を維持する手法を開発すること。
• 一般化ランダムフォレストの柔軟性とNeyman直交性推定方程式のロバスト性を統合すること。
• スパarsity条件の下で、高次元のヌイアンスパラメータを制御しながら、処置効果の非パラメトリック推定を可能にすること。
• 複雑な高次元設定における因果推論に実用的かつ経験的に妥当なアルゴリズムを提供すること。

提案手法

• ヌイアンスパラメータ推定誤差への感受性を低減するために、Neyman直交性推定方程式を用いる二段階のランダムフォレストアルゴリズムである直交ランダムフォレスト（ORF）を提案する。
• 一般化ランダムフォレスト（Athey et al., 2017）と二重機械学習の原則を統合し、条件付きモーメントモデルをロバストに推定する。
• 高次元かつ局所的にスパースなヌイアンス関数を回復するために、局所的ℓ₁正則化回帰を適用する、新規なヌイアンス推定法であるフォレストラassoを採用する。
• U統計量の集中不等式とラasso理論を用いて、フォレストラasso推定量の理論的一致レートを確立する。
• 異質的処置効果問題に直交推定方程式フレームワークを適用し、目的はθ₀(x)であり、ヌイアンス関数f₀(x,W)は交絡要因の効果を捉える。
• クロスフィッティングと二重ロバスト性の原則を用いて、ヌイアンス推定器に弱い正則性条件しか課さない状況でも有効な推論を保証する。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストのような非パラメトリック手法は、高次元のヌイアンス関数の推定誤差に対してロバストにできるか？
• RQ2 どのような条件下で、柔軟な推定器が、ヌイアンスパラメータが既知であるオラクル推定器と同等のレートを達成するか？
• RQ3 ランダムフォレストに基づく手法は、高次元の制御変数を伴う異質的処置効果に対して、漸近正規な推論を提供できるか？
• RQ4 ヌイアンス関数の局所的スパースパラメータ化は、フォレストラasso法による一貫性のある推定を可能にするか？
• RQ5 ORFは、高次元かつ異質的処置効果推定において、従来の手法と比較してバイアス、分散、信頼区間のカバレッジの観点で優れているか？

主な発見

• ヌイアンス推定器が十分なレートで一貫している限り、ORFはヌイアンスパラメータが既知のオラクル推定器と同等の漸近的誤差レートを達成する。
• 標準的なスパarsity条件の下で、ヌイアンス関数が局所的にスパースなパラメータ化を持つ場合、フォレストラasso法は必要な一致レートを達成する。
• n=5000、p=500のシミュレーションにおいて、ORF-CVは、一次元および二次元の異質性設定の両方で、すべてのサポートサイズと評価指標において代替手法を上回る性能を示した。
• x₂ ∈ {0,1} の二次元異質性設定では、ORF-CVはスライスごとに低バイアスと低分散を維持し、すべてのケースで真の処置効果を95％信頼区間がカバーした。
• 本手法は、離散的および連続的処置設定の両方で高次元の交絡要因を適切に制御でき、処置効果関数にパラメトリックな仮定を課さずに有効な推論を可能にした。
• 合成データおよび実データにおける経験的結果から、ORFは、複雑で高次元なヌイアンス関数が存在する状況でも、正確でロバストかつ漸近正規な異質的処置効果推定を提供することが確認された。