[논문 리뷰] Double Debiased Machine Learning Nonparametric Inference with Continuous Treatments

Kyle Colangelo, Ying‐Ying Lee|arXiv (Cornell University)|2020. 04. 06.

Advanced Causal Inference Techniques인용 수 8

한 줄 요약

이 논문은 커널 기반 이중적으로 강건한 모멘트 함수와 크로스피팅을 사용하여 연속적 치료 효과에 대한 비모수적 추론을 위한 이중 탈중립 기계학습(DML) 방법을 제안한다. 이 방법은 조건부 평균과 조건부 밀도와 같은 누이스처 함수가 유연한 비모수적 또는 기계학습 방법으로 추정되더라도, 최소한의 정규성 조건 하에 비모수적 수렴 속도로 점근적으로 정규분포를 따르며, 이는 점근적 정규성을 달성한다.

ABSTRACT

We propose a doubly robust inference method for causal effects of continuous treatment variables, under unconfoundedness and with nonparametric or high-dimensional nuisance functions. Our double debiased machine learning (DML) estimators for the average dose-response function (or the average structural function) and the partial effects are asymptotically normal with non-parametric convergence rates. The first-step estimators for the nuisance conditional expectation function and the conditional density can be nonparametric or ML methods. Utilizing a kernel-based doubly robust moment function and cross-fitting, we give high-level conditions under which the nuisance function estimators do not affect the first-order large sample distribution of the DML estimators. We provide sufficient low-level conditions for kernel, series, and deep neural networks. We justify the use of kernel to localize the continuous treatment at a given value by the Gateaux derivative. We implement various ML methods in Monte Carlo simulations and an empirical application on a job training program evaluation

연구 동기 및 목표

• 연속적 치료 하에서 평균 복용량-반응 함수와 부분 효과에 대한 이중적으로 강건한 비모수적 추론 방법을 개발하기 위해.
• 고차원적 또는 복잡한 누이스처 함수(조건부 평균 및 조건부 밀도)를 추정하기 위해 기계학습 및 비모수적 방법을 사용할 수 있도록 하되, 이로 인해 제1차 점근적 분포에 영향을 주지 않도록 하기 위해.
• 누이스처 추정기들이 연속적 치료 효과에 대한 DML 추정기의 점근적 분포에 영향을 주지 않는 조건인 고수준 및 저수준의 정규성 조건을 설정하기 위해.
• 연속적 치료 효과의 맥락에서 게이트옥 도함수를 통한 커널 기반 국소화의 정당성을 제시하기 위해.
• 크로스피팅과 함께 민감한 기계학습 방법을 사용하여, 직업 훈련 프로그램이나 수요 분석과 같은 연속적 치료 효과가 존재하는 설정에서의 추론을 위한 실용적 프레임워크를 제공하기 위해.

제안 방법

• 커널 기반 이중적으로 강건한 모멘트 함수를 사용: $ \gamma(t,X_i) + \frac{K_h(T_i - t)}{f_{T|X}(t|X_i)}(Y_i - \gamma(t,X_i)) $, 여기서 $ \gamma $는 조건부 평균이고 $ f_{T|X} $는 일반화된 적합도 점수이다.
• L-분할 크로스피팅을 사용하여 외부 샘플 데이터에서 누이스처 함수를 추정함으로써 편향을 줄이고 점근적 정규성을 달성한다.
• 크로스피팅을 적용하여 누이스처 함수 추정기들이 DML 추정기의 제1차 점근적 분포에 영향을 주지 않도록 보장한다.
• 비모수적 및 기계학습 방법(커널, 시리즈, 딥 신경망)을 사용하여 $ \gamma(t,X) $와 $ f_{T|X}(t|X) $를 추정한다.
• 전체 결합 분포가 아닌 고정된 치료 값 $ t $에서의 부분 $ L_2 $ 노름을 기반으로 수렴 속도에 대한 고수준 조건을 유도한다.
• 추정된 평균 복용량-반응 함수의 미분을 통해 수치적으로 부분 효과를 추정한다.

실험 결과

연구 질문

• RQ1 이중 탈중립 기계학습은 고차원적 또는 비모수적 누이스처 함수를 가진 연속적 치료 변수에 대한 비모수적 추론으로 확장될 수 있는가?
• RQ2 누이스처 함수 추정기들이 연속적 치료 효과에 대한 DML 추정기의 제1차 점근적 분포에 영향을 주지 않는 조건은 무엇인가?
• RQ3 연속적 치료 효과의 맥락에서 게이트옥 도함수를 통한 커널 기반 국소화는 어떻게 정당화될 수 있는가?
• RQ4 이 DML 프레임워크에서 커널, 시리즈, 딥 신경망 추정기의 충분한 저수준 정규성 조건는 무엇인가?
• RQ5 결과 및 치료가 모두 비모수적으로 모델링될 경우, 제안된 방법이 점근적 정규성과 타당한 추론을 달성할 수 있는가?

주요 결과

• 제안된 평균 복용량-반응 함수 $ \beta_t $에 대한 DML 추정기는 조건부 평균 및 조건부 밀도와 같은 누이스처 함수가 기계학습을 통해 추정되더라도 비모수적 수렴 속도 $ \sqrt{n h^{d_T}} $로 점근적으로 정규분포를 따르며, 이는 점근적 정규성을 확보한다.
• 이 방법은 이중적으로 강건하다: 조건부 평균 또는 조건부 밀도 중 하나의 누이스처 함수가 잘못 지정되더라도 점근적 정규성이 유지된다.
• 누이스처 추정기의 수렴 속도가 제1차 점근적 분포에 영향을 주지 않는 조건을 고수준 조건으로 제시하였으며, 이는 고정된 $ t $에서의 부분 $ L_2 $ 노름에 기반한다.
• 커널, 시리즈, 딥 신경망 추정기의 저수준 조건을 설정하여, 표준 정규성 가정 하에 고수준 조건이 충족됨을 보장한다.
• 게이트옥 도함수 분석을 통해 커널 기반 국소화의 정당성이 제시되었으며, 이는 연속적 치료 효과에 대한 모멘트 함수의 타당성을 뒷받침한다.
• 몬테카를로 시뮬레이션과 직업 훈련 프로그램에 대한 실증 적용을 통해 유한 표본 성능과 실용적 유용성이 입증되었다.