[논문 리뷰] Mostly Harmless Machine Learning: Learning Optimal Instruments in Linear IV Models

Jiafeng Chen, Daniel L. Chen외 1명|arXiv (Cornell University)|2020. 11. 12.

Law, Economics, and Judicial Systems참고 문헌 37인용 수 7

한 줄 요약

이 논문은 비선형 관계를 활용하여 정밀도와 강건성을 향상시키면서도 선형 적응형 변수(IV) 추정에 사용자 친화적인 기계학습 접근법을 제안한다. 표본 분할과 기계학습을 통해 처리 변수를 기반으로 한 도구 변수와 외생 공변량을 예측하면서도, 예측값이 공변량에 대해 선형임을 제약함으로써 타당한 식별성과 일致하고 점근적으로 정규 분포를 따르는 추정치를 보장한다. 이는 도구 변수의 강도를 향상시킨다.

ABSTRACT

We offer straightforward theoretical results that justify incorporating machine learning in the standard linear instrumental variable setting. The key idea is to use machine learning, combined with sample-splitting, to predict the treatment variable from the instrument and any exogenous covariates, and then use this predicted treatment and the covariates as technical instruments to recover the coefficients in the second-stage. This allows the researcher to extract non-linear co-variation between the treatment and instrument that may dramatically improve estimation precision and robustness by boosting instrument strength. Importantly, we constrain the machine-learned predictions to be linear in the exogenous covariates, thus avoiding spurious identification arising from non-linear relationships between the treatment and the covariates. We show that this approach delivers consistent and asymptotically normal estimates under weak conditions and that it may be adapted to be semiparametrically efficient (Chamberlain, 1992). Our method preserves standard intuitions and interpretations of linear instrumental variable methods, including under weak identification, and provides a simple, user-friendly upgrade to the applied economics toolbox. We illustrate our method with an example in law and criminal justice, examining the causal effect of appellate court reversals on district court sentencing decisions.

연구 동기 및 목표

• 기존의 이중 최소제곱법(TSLS)이 도구 변수와 내생적 변수 간의 선형 관계만을 활용하여 약한 도구 변수일 경우 정밀도가 떨어지는 데 기인한 한계를 해결하기 위해.
• 외생 공변량의 비선형 변환으로 인한 잘못된 식별성을 유발하지 않으면서도 기계학습을 활용해 도구 변수에서 비선형 변동성을 추출하는 방법을 개발하기 위해.
• 탄력적인 제1단계 예측을 통합하면서도 전통적인 IV 해석과 추론 도구(예: Anderson–Rubin 및 Wald 신뢰구간)를 유지하기 위해.
• 기계학습을 제1단계에 적용함으로써 약한 도구 변수를 강화하고 고차원적 또는 복잡한 데이터 환경에서도 추정 효율성을 향상시킬 수 있음을 보여주기 위해.
• 해석 가능성과 강건성을 유지하면서도 실용적이고 반반파rametric적으로 효율적이며 사용자 友好的인 응용 계량경제학 툴킷의 업그레이드를 제공하기 위해.

제안 방법

• 제1단계(도구 변수 예측)와 제2단계(구조적 추정)를 분리하기 위해 표본 분할을 사용하여 타당한 추론을 보장한다.
• 제1단계에서 기계학습 모델(예: LightGBM, Random Forest)을 사용해 도구 변수와 외생 공변량으로부터 내생적 처리 변수를 예측한다.
• 기계학습 예측값이 외생 공변량에 대해 선형이 되도록 제약을 두어, 공변량의 비선형성으로 인한 잘못된 식별성을 방지한다.
• 제2단계에서 예측된 처리 변수와 외생 공변량을 기술적 도구 변수로 사용함으로써 선형 IV 프레임워크를 유지한다.
• 첫 번째 단계 예측의 일致성 등 약한 조건 하에서도 점근적으로 정규 분포를 따르고 일치하는 추정치를 확보한다.
• Chamberlain(1992)의 최적 추정 방정식 프레임워크를 활용하여 반반파rametric적으로 효율적인 방법으로 개선한다.

실험 결과

연구 질문

• RQ1 기계학습을 사용해 선형 IV 모델에서 도구 변수의 비선형 변동성을 추출할 수 있는가? 이 과정에서 식별성이 손상되지 않는가?
• RQ2 탄력적인 제1단계 예측을 통합함으로써 기존의 선형 또는 이차 TSLS에 비해 추정 정밀도와 강건성이 향상되는가?
• RQ3 기계학습을 제1단계에 적용함에도 불구하고 Anderson–Rubin 및 Wald 신뢰구간과 같은 타당한 추론 도구를 유지할 수 있는가?
• RQ4 특히 기존 TSLS가 F통계량이 낮아 실패하는 경우, 약한 도구 변수가 존재할 때 이 방법은 어떻게 작동하는가?
• RQ5 기계학습을 통해 내생적 처리 변수에 대한 도구 변수의 예측 능력을 향상시켜 약한 도구 변수를 얼마나 효과적으로 복구할 수 있는가?

주요 결과

• MLSS 추정치는 첫 번째 단계 예측이 유연하더라도 약한 조건 하에서 일치하고 점근적으로 정규 분포를 따르는 추정치를 제공한다.
• 이 방법은 도구 변수에서 비선형 변동성을 성공적으로 추출하여, 선형 또는 이차 TSLS에 비해 도구 변수의 강도를 높이고 표준 오차를 감소시켰다.
• 심층적 응용 분석(항소심판 판결 뒤집힘)에서 MLSS 추정치는 선형 TSLS보다 더 좁은 신뢰구간을 제공했으며, 선형 TSLS는 F통계량이 뿐이었고 Anderson–Rubin 구간은 [-3.3, 23.8]로 매우 넓었다.
• 이차 TSLS는 모형 잘못 설정으로 인해 빈 Anderson–Rubin 구간을 생성했지만, MLSS 추정치(LightGBM, RandomForest 등)는 이 문제를 피하고 비어 있지 않은 정밀한 구간을 제공했다.
• 다항식 전개를 사용한 분할 표본 추정치는 외부 표본 R²가 거의 0에 가까웠고, 표본 간 점추정치의 변동성이 매우 컸다. 반면 MLSS는 이와 같은 문제를 피했다.
• 이 방법은 제2단계 추정이 항상 정확히 식별되며, 비어 있는 신뢰집합을 방지하도록 설계되어 있어, 비균일한 처리 효과가 존재하는 경우에도 유의미하다.