[논문 리뷰] Orthogonal Random Forest for Causal Inference

Miruna Oprescu, Vasilis Syrgkanis외 1명|arXiv (Cornell University)|2018. 06. 09.

Advanced Causal Inference Techniques인용 수 31

한 줄 요약

이 논문은 고차원 관측 데이터에서 이질적 치료 효과를 강력하고 비모수적으로 추정할 수 있도록 네이만-수정된 정규성과 일반화된 랜덤 포레스트를 조합한 새로운 알고리즘인 수직 랜덤 포레스트(ORF)를 제안한다. 약간의 오차가 있는 부수적 함수 추정 조건 하에서도 점근 정규성과 타당한 추론을 달성하며, 국소적으로 흐린 구조를 가진 고차원 부수적 함수 추정을 위한 새로운 포레스트 라소 방법을 제공한다.

ABSTRACT

We propose the orthogonal random forest, an algorithm that combines Neyman-orthogonality to reduce sensitivity with respect to estimation error of nuisance parameters with generalized random forests (Athey et al., 2017)--a flexible non-parametric method for statistical estimation of conditional moment models using random forests. We provide a consistency rate and establish asymptotic normality for our estimator. We show that under mild assumptions on the consistency rate of the nuisance estimator, we can achieve the same error rate as an oracle with a priori knowledge of these nuisance parameters. We show that when the nuisance functions have a locally sparse parametrization, then a local $\ell_1$-penalized regression achieves the required rate. We apply our method to estimate heterogeneous treatment effects from observational data with discrete treatments or continuous treatments, and we show that, unlike prior work, our method provably allows to control for a high-dimensional set of variables under standard sparsity conditions. We also provide a comprehensive empirical evaluation of our algorithm on both synthetic and real data.

연구 동기 및 목표

• 고차원 혼동 변수가 있는 관측 데이터에서 이질적 치료 효과를 추정하는 문제에 대응하기 위해.
• 부수적 함수 추정 오차가 존재하더라도 점근 정규성과 타당한 추론을 유지하는 방법을 개발하기 위해.
• 일반화된 랜덤 포레스트의 유연성과 네이만-수정된 추정 방정식의 강력성의 조합을 위해.
• 스패arsity 조건 하에서 고차원 부수적 매개변수를 통제하면서 치료 효과의 비모수적 추정을 가능하게 하기 위해.
• 복잡한 고차원 환경에서 인과 추론을 위한 실용적이고 경험적으로 검증된 알고리즘을 제공하기 위해.

제안 방법

• 네이만-수정된 추정 방정식을 사용하여 부수적 매개변수 추정 오차에 민감도를 낮추는 이중 단계의 랜덤 포레스트 알고리즘인 수직 랜덤 포레스트(ORF)를 제안한다.
• 이중 머신러닝 원리와 일반화된 랜덤 포레스트(Athey 등, 2017)를 융합하여 조건부 모멘텀 모델을 강력하게 추정한다.
• 고차원이고 국소적으로 흐린 부수적 함수를 복구하기 위해 국소 ℓ₁-패널티 회귀를 적용하는 새로운 부수적 추정 방법인 포레스트 라소를 도입한다.
• U-통계량 농도 불등식과 라소 이론을 활용하여 포레스트 라소 추정기의 이론적 일致성 속도를 확립한다.
• 이종적 치료 효과 문제에 수직 추정 방정식 프레임워크를 적용하며, 목표는 θ₀(x)이고 부수적 함수 f₀(x,W)는 혼동 요인의 영향을 기록한다.
• 크로스-피팅과 이중-로버스트니 원리를 활용하여 부수적 추정기의 약한 규칙성 조건 하에서도 타당한 추론을 보장한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트와 같은 비모수적 방법이 고차원 부수적 함수의 추정 오차에 대해 강력하게 만들 수 있는가?
• RQ2 유연한 추정기에서 알려진 부수적 매개변수를 가진 오라클 추정기와 동일한 속도를 달성할 수 있는 조건은 무엇인가?
• RQ3 랜덤 포레스트 기반 방법이 고차원 제어 변수를 가진 이종적 치료 효과에 대해 점근 정규 추론을 제공할 수 있는가?
• RQ4 부수적 함수의 국소적으로 흐린 매개변수화가 포레스트 라소 접근법을 통해 일관된 추정을 가능하게 하는가?
• RQ5 ORF는 고차원, 이종적 치료 효과 추정에서 기존 방법과 비교해 편향, 분산, 신뢰구간 커버리지 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 부수적 추정기가 충분한 속도로 일관성 있음을 보장할 경우, ORF는 알려진 부수적 매개변수를 가진 오라클 추정기와 동일한 점근 오차 속도를 달성한다.
• 부수적 함수가 국소적으로 흐린 매개변수화를 가질 경우, 표준 스파arsity 조건 하에서 포레스트 라소 방법은 부수적 함수에 대해 필요한 일관성 속도를 달성한다.
• n=5000, p=500 조건의 시뮬레이션에서, ORF-CV는 일차원 및 이차원 이질성 설정 모두에서 모든 지원 크기와 평가 지표에서 다른 방법들을 능가한다.
• x₂ ∈ {0,1}인 이차원 이질성 설정에서, ORF-CV는 모든 슬라이스에서 낮은 편향과 분산을 유지하며, 95% 신뢰구간이 모든 경우에서 진짜 치료 효과를 포함한다.
• 이론적 가정 없이도 이산적 및 연속적 치료 설정 모두에서 고차원 혼동 변수를 효과적으로 통제하며, 치료 효과 함수에 대한 비모수적 가정 없이 타당한 추론을 가능하게 한다.
• 합성 및 실재 데이터에 대한 경험적 결과는 ORF가 복잡한 고차원 부수적 함수가 존재하더라도 정확하고 강력하며 점근 정규적인 이종적 치료 효과 추정을 제공함을 확인한다.