[논문 리뷰] Double/Debiased Machine Learning for Treatment and Causal Parameters

Victor Chernozhukov, Denis Chetverikov외 5명|arXiv (Cornell University)|2016. 07. 30.

Statistical Methods and Inference참고 문헌 75인용 수 49

한 줄 요약

이 논문은 네이먼-수정된 추정 방정식과 교차 적합을 사용하여 고차원 모형에서 저차원의 인과적 파라미터에 대한 루트-N 일致성 추정과 타당한 추론을 가능하게 하는 더블/데비어스드 머신러닝(DML)을 소개한다. 이 방법은 라소, 랜덤 포레스트 또는 신경망과 같은 유연한 머신러닝 방법을 사용할 때조차도 편향을 제거하여 점점 더 정규분포에 수렴하고 타당한 신뢰구간을 보장한다.

ABSTRACT

Most modern supervised statistical/machine learning (ML) methods are explicitly designed to solve prediction problems very well. Achieving this goal does not imply that these methods automatically deliver good estimators of causal parameters. Examples of such parameters include individual regression coefficients, average treatment effects, average lifts, and demand or supply elasticities. In fact, estimates of such causal parameters obtained via naively plugging ML estimators into estimating equations for such parameters can behave very poorly due to the regularization bias. Fortunately, this regularization bias can be removed by solving auxiliary prediction problems via ML tools. Specifically, we can form an orthogonal score for the target low-dimensional parameter by combining auxiliary and main ML predictions. The score is then used to build a de-biased estimator of the target parameter which typically will converge at the fastest possible 1/root(n) rate and be approximately unbiased and normal, and from which valid confidence intervals for these parameters of interest may be constructed. The resulting method thus could be called a "double ML" method because it relies on estimating primary and auxiliary predictive models. In order to avoid overfitting, our construction also makes use of the K-fold sample splitting, which we call cross-fitting. This allows us to use a very broad set of ML predictive methods in solving the auxiliary and main prediction problems, such as random forest, lasso, ridge, deep neural nets, boosted trees, as well as various hybrids and aggregators of these methods.

연구 동기 및 목표

• 현대적인 머신러닝 방법을 사용해 고차원의 부수적 파라미터를 추정할 때 저차원의 인과적 파라미터 추정에서 발생하는 편향 문제를 해결하기 위해.
• 정규화 편향과 과적합 문제로 인해 고차원 환경에서 추정기의 루트-N 일치성과 점근적 정규성을 보장하는 일반적인 프레임워크를 개발하기 위해.
• 라소, 랜덤 포레스트, 신경망과 같은 민감한 머신러닝 방법을 사용해 부수적 함수를 추정할 수 있도록 하되, 추론의 타당성을 해치지 않기 위해.
• 현대적 고차원 데이터 환경에서 치료 효과와 구조적 파라미터에 대한 추론을 이론적으로 탄탄하고 실용적으로 가능하게 하는 방법을 제공하기 위해.

제안 방법

• 부수적 파라미터 추정 오차에 대해 작은 오차에도 강건한 네이먼-수정된 추정 방정식을 사용하여 고차원 환경에서 추정 오차에 대한 민감도를 줄인다.
• 데이터 분할을 통한 교차 적합을 적용하여 과적합 오차를 줄이고 추정의 효율성을 높인다. 이를 위해 여러 개의 데이터 분할에 대한 평균을 취한다.
• 라소, 리지, 랜덤 포레스트, 부스팅 트리, 신경망과 같은 머신러닝 방법을 사용해 조건부 평균 및 조건부 성향 스코어와 같은 고차원 부수적 함수를 추정한다.
• 두 단계 추정 절차를 적용한다: 먼저 머신러닝을 사용해 부수적 파라미터를 추정하고, 그 다음 데비어스드 추정 방정식을 사용해 관심 파라미터에 대한 루트-N 일치성과 점근적 정규성을 확보한다.
• 다양한 표본 분할에 걸쳐 중앙값 기반의 표준오차 추정을 통해 데이터 분할에 의한 변동성을 고려하여 추론의 강건성을 향상시킨다.
• 부분선형 회귀, 도구변수, 조건부 독립성 하에서의 평균 치료 효과 추정 등 다양한 모형에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 고차원 환경에서 부수적 파라미터 추정에 머신러닝 방법을 신뢰성 있게 사용할 수 있을까? 이로 인해 저차원의 인과적 파라미터 추정에 편향이 생기지 않을까?
• RQ2 고차원 부수적 파라미터의 정규화 편향과 과적합으로 인한 오차를 어떻게 교정할 수 있을까? 이를 통해 관심 파라미터에 대한 타당한 추론을 확보할 수 있을까?
• RQ3 라소, 랜덤 포레스트, 신경망 등 민감한 머신러닝 방법을 사용해 부수적 함수를 추정할 때, 인과적 파라미터 추정기의 루트-N 일치성과 점근적 정규성을 보장하는 조건은 무엇인가?
• RQ4 실제로 라소와 랜덤 포레스트 등의 머신러닝 방법 선택이 인과적 파라미터 추론에 어떤 영향을 미치는가?
• RQ5 교차 적합에서 발생하는 데이터 분할에 의한 불확실성을 표준오차 추정에 어떻게 적절히 반영할 수 있을까? 이를 통해 타당한 신뢰구간을 유지할 수 있을까?

주요 결과

• DML은 부수적 파라미터를 고차원 머신러닝 방법으로 추정할 때조차도 관심 파라미터에 대해 루트-N 일치성과 점근적 정규성을 달성한다.
• 이 방법은 정규화 편향과 과적합에 기인한 편향을 효과적으로 제거하여 타당한 신뢰구간과 가설 검정을 가능하게 한다.
• 실증 응용 분석에서는 다양한 머신러닝 방법 간에 추정치가 강건하고 일관되게 나타났으며, 표본 분할 간 변동성을 고려할 경우 표준오차는 증가하지만 결론은 질적으로 동일하게 유지되었다.
• 401(k) 퇜력 저축 예시에서 DML은 퇜력 저축 참여에 대해 11.5%p의 양의 통계적으로 유의미한 치료 효과를 추정했으며, 표준오차는 0.34였다.
• 기관 품질과 경제 성장의 관계를 분석한 예시에서는 DML가 기관의 영향력이 출력에 유의미하게 긍정적인 영향을 미친다는 것을 추정했으며, 계수는 1.10(표준오차: 0.46)이었다. 이는 이전 연구 결과와 일치하지만, 추론의 강건성이 향상되었다.
• 5중 교차 적합은 2중 교차 적합보다 일반적으로 더 큰 표준오차를 보였으며, 이는 분할 수가 추론 정밀도에 영향을 준다는 것을 시사한다. 그러나 다양한 방법 간 결과는 질적으로 유사했다.