[논문 리뷰] RieszNet and ForestRiesz: Automatic Debiased Machine Learning with Neural Nets and Random Forests

Victor Chernozhukov, Whitney K. Newey외 2명|arXiv (Cornell University)|2021. 10. 06.

Advanced Causal Inference Techniques인용 수 5

한 줄 요약

RieszNet와 ForestRiesz는 신경망과 랜덤 포레스트를 사용하여 인과적 추론을 위한 자동 비편향화 방법을 제안하며, 다중작업 엔드 투 엔드 훈련을 통해 Riesz 표현자 학습을 활용하여 $√{n}$-일致성이고 점점 정규분포에 수렴하는 추정기들을 얻는다. 이 방법은 평균 치료 효과와 평균 경계 효과에 대해 평균적으로 명목 수준에 가까운 신뢰구간 커버리지를 제공하며, 이는 이전의 방법들보다 실험적 벤치마크에서 뛰어난 성능을 보인다.

ABSTRACT

Many causal and policy effects of interest are defined by linear functionals of high-dimensional or non-parametric regression functions. $\sqrt{n}$-consistent and asymptotically normal estimation of the object of interest requires debiasing to reduce the effects of regularization and/or model selection on the object of interest. Debiasing is typically achieved by adding a correction term to the plug-in estimator of the functional, which leads to properties such as semi-parametric efficiency, double robustness, and Neyman orthogonality. We implement an automatic debiasing procedure based on automatically learning the Riesz representation of the linear functional using Neural Nets and Random Forests. Our method only relies on black-box evaluation oracle access to the linear functional and does not require knowledge of its analytic form. We propose a multitasking Neural Net debiasing method with stochastic gradient descent minimization of a combined Riesz representer and regression loss, while sharing representation layers for the two functions. We also propose a Random Forest method which learns a locally linear representation of the Riesz function. Even though our method applies to arbitrary functionals, we experimentally find that it performs well compared to the state of art neural net based algorithm of Shi et al. (2019) for the case of the average treatment effect functional. We also evaluate our method on the problem of estimating average marginal effects with continuous treatments, using semi-synthetic data of gasoline price changes on gasoline demand.

연구 동기 및 목표

• 모멘트 기능의 해석적 형태가 필요 없이 인과 기능의 추정을 위한 자동 비편향 기법을 개발하는 것.
• 모멘트 기능에 대한 블랙박스 오라클 액세스를 통해 고차원 또는 비모수적 기능의 $√{n}$-일치성과 점점 정규분포에 수렴하는 추정을 가능하게 하는 것.
• 딥 러닝과 트리 기반 모델을 활용하여 평균 치료 효과 및 평균 경계 효과 추정과 같은 인과적 추론 작업의 추론 성능을 향상시키는 것.
• 다중 작업 학습과 표현 및 수정 항목의 엔드 투 엔드 최적화가 추정 정확도와 커버리지 향상에 기여하는지 확인하는 것.
• 정책 평가와 해석 가능한 기계학습과 같은 실제 문제에 대해 실증적 벤치마크를 통해 방법의 타당성을 검증하는 것.

제안 방법

• 모멘트 기능의 공유 표현 레이어와 확률적 경사 하강법을 사용한 병합 손실 함수에 기반해 회귀 함수와 그 Riesz 표현자를 함께 학습하는 다중작업 신경망인 RieszNet을 제안한다.
• 회귀와 Riesz 표현자 예측 간에 첫 번째 레이어를 공유하는 공유 표현 아키텍처를 도입하여 공동 최적화를 가능하게 한다.
• Riesz 표현자와 회귀 모델의 엔드 투 엔드 훈련을 수행하며, 대상 최대우도 추정(TMLE) 조정을 포함하여 편향을 줄인다.
• 단일 트리 앙상블 내에서 회귀 함수와 Riesz 표현자 함수를 동시에 추정함으로써 局소 선형 Riesz 표현을 학습하는 랜덤 포레스트 기반 방법인 ForestRiesz를 개발한다.
• 과적합 편향을 줄이고 특히 고차원 설정에서 신뢰구간 커버리지를 향상시키기 위해 크로스피팅을 사용한다.
• 기능의 해석적 형태나 그 도함수의 명시적 형태가 필요 없이 오직 오라클 액세스에 의존한다.

실험 결과

연구 질문

• RQ1 해석적 형태가 필요 없이 신경망이 선형 기능의 Riesz 표현을 효과적으로 자동으로 학습시킬 수 있는가?
• RQ2 회귀와 Riesz 표현자 네트워크의 다중작업 엔드 투 엔드 훈련이 별도 훈련보다 추정 정확도와 추론 커버리지 향상에 기여하는가?
• RQ3 랜덤 포레스트는 비편향 인과적 추론을 위한 국소 선형 Riesz 표현을 학습하는 데 적합하게 변형될 수 있는가?
• RQ4 크로스피팅은 ForestRiesz의 신뢰구간 커버리지에 어떤 영향을 미치는가? 비크로스피팅 버전과 비교하여 어떻게 달라지는가?
• RQ5 제안된 방법은 평균 치료 효과 및 평균 경계 효과와 같은 실제 인과적 추론 문제에서 명목 수준에 가까운 커버리지와 $√{n}$-일치성을 달성하는가?

주요 결과

• RieszNet은 IHDP 데이터셋에서 평균 치료 효과(ATE)에 대해 95.0%의 신뢰구간 커버리지를 달성하여 명목 수준을 정확히 유지하였으며, 편향은 0.070, RMSE는 0.313이었다.
• ForestRiesz는 BHP 실험에서 평균 경계 효과에 대해 94.5%의 커버리지를 기록하였고, 편향은 -0.091, RMSE는 0.331이었으며, 별도 훈련 및 비크로스피팅 버전을 모두 초월하였다.
• 절단 실험 결과, RieszNet에서 다중작업 학습과 엔드 투 엔드 훈련이 필수적임을 확인하였으며, 별도 훈련이나 고정된 표현 레이어는 성능을 심각하게 떨어뜨렸다.
• 크로스피팅은 ForestRiesz에서 커버리지 향상에 크게 기여하였으며, 크로스피팅 없이 84.6%에서 단순 크로스피팅으로 91.1%로 향상되었고, 기본 다중작업 설정에서는 94.5%까지 상승하였다.
• RieszNet은 Shi 등(2019)의 최신 신경망 기반 접근법보다 ATE 추정에서 더 낮은 편향, 더 낮은 RMSE, 더 높은 커버리지를 기록하였다.
• 제안된 프레임워크는 연속적 치료를 가진 복잡한 기능, 예를 들어 평균 경계 효과에 대해 타당한 추론을 가능하게 하였으며, 점점 정규분포에 수렴하고 명목 수준에 가까운 커버리지를 달성하였다.