[논문 리뷰] On Deep Instrumental Variables Estimate

Ruiqi Liu, Zuofeng Shang외 1명|arXiv (Cornell University)|2020. 04. 30.

Statistical Methods and Inference참고 문헌 33인용 수 11

한 줄 요약

이 논문은 깊이 있는 신경망(DNNs)을 사용하는 이중 추정기(dual-stage estimator)가 미세한 조건 하에 반모수적 효율 경계(semiparametric efficiency bound)에 도달할 수 있음을 보여줌으로써 Deep Instrumental Variables (Deep IV)에 대한 이론적 기반을 제공한다. 첫 번째 단계에서는 DNNs를 사용해 최적의 도구변수를 추정하며, 이때 차원에 영향을 받지 않는 최소최대 최적(minimax-optimal) 수렴 속도를 확보함으로써, 두 번째 단계에서 루트-n 점근 정규성과 효율성을 달성할 수 있다. 이는 고차원 또는 복잡한 구조를 가진 도구변수를 다룰 때도 성립한다.

ABSTRACT

The endogeneity issue is fundamentally important as many empirical applications may suffer from the omission of explanatory variables, measurement error, or simultaneous causality. Recently, \cite{hllt17} propose a "Deep Instrumental Variable (IV)" framework based on deep neural networks to address endogeneity, demonstrating superior performances than existing approaches. The aim of this paper is to theoretically understand the empirical success of the Deep IV. Specifically, we consider a two-stage estimator using deep neural networks in the linear instrumental variables model. By imposing a latent structural assumption on the reduced form equation between endogenous variables and instrumental variables, the first-stage estimator can automatically capture this latent structure and converge to the optimal instruments at the minimax optimal rate, which is free of the dimension of instrumental variables and thus mitigates the curse of dimensionality. Additionally, in comparison with classical methods, due to the faster convergence rate of the first-stage estimator, the second-stage estimator has {a smaller (second order) estimation error} and requires a weaker condition on the smoothness of the optimal instruments. Given that the depth and width of the employed deep neural network are well chosen, we further show that the second-stage estimator achieves the semiparametric efficiency bound. Simulation studies on synthetic data and application to automobile market data confirm our theory.

연구 동기 및 목표

• 고차원 또는 복잡한 구조를 가진 도구변수를 다룰 때 Deep IV의 경험적 성공을 이론적으로 설명하기 위해.
• 일반적인 조합 구조 가정 하에 깊이 있는 신경망을 사용하는 이중 추정기가 반모수적 효율 경계에 도달할 수 있음을 확립하기 위해.
• 첫 번째 단계에서 DNN 추정기가 도구변수의 차원에 영향을 받지 않는 최소최대 최적 수렴 속도를 확보함으로써, 차원의 저주(curse of dimensionality)를 극복할 수 있음을 보여주기 위해.
• 전통적인 방법보다 두 번째 단계 추정기의 두 번째 차수 추정 오차가 작고, 부드러움 조건이 더 약한지 확인하기 위해.
• 시뮬레이션과 자동차 시장 데이터에 대한 응용을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 이중 추정기 제안: 첫 번째 단계에서 DNN이 도구변수와 내생성 변수로부터 최적의 도구변수를 추정하고, 두 번째 단계에서 OLS를 사용해 선형 계수를 추정한다.
• 첫 번째 단계에서 DNN 추정기의 차원에 영향을 받지 않는 수렴 속도를 확보하기 위해 감춰진 조합 구조 가정을 도입한다.
• DNN 추정기의 수렴 속도가 최소최대 최적임을 도출하며, 이는 샘플 크기와 깊이와 너비의 곱에만 의존하고 도구변수의 수에는 의존하지 않는다.
• 첫 번째 단계에서 완전히 연결된 ReLU 깊이 있는 신경망을 사용해 명시적인 구조 가정 없이도 복잡한 함수 형태를 탄력적으로 포착한다.
• 깊이, 너비 또는 둘 다 샘플 크기와 함께 발산하는 조건 하에서, 두 번째 단계 추정기의 점근 정규성과 반모수적 효율성을 확립한다.
• 편향-분산 분해와 마팅갈 타입의 추론을 사용해 두 번째 단계의 추정 오차를 제어하며, 첫 번째 단계의 DNN 추정기의 더 빠른 수렴 속도를 유리하게 활용한다.

실험 결과

연구 질문

• RQ1 이중 프레임워크에서 깊이 있는 신경망이 내생성 회귀 모델에서 반모수적 효율 경계에 도달할 수 있는가?
• RQ2 첫 번째 단계에서 딥러닝을 사용함으로써 고차원 도구변수에서의 차원의 저주를 극복할 수 있는가?
• RQ3 DNN 기반 첫 번째 단계 추정기의 수렴 속도가 도구변수의 수에 대해 어떻게 의존하는가? 기존 비모수 추정기와 비교해 볼 때 어떻게 다른가?
• RQ4 두 번째 단계 추정기가 루트-n 점근 정규성과 효율성을 달성하는 조건는 무엇인가?
• RQ5 제안된 방법은 전통적인 시리즈 또는 커널 추정기보다 두 번째 차수 추정 오차를 어떻게 줄이는가?

주요 결과

• 첫 번째 단계 DNN 추정기는 깊이와 너비의 곱이 샘플 크기의 다항식에 비례할 경우, 도구변수의 차원에 영향을 받지 않는 최소최대 최적 수렴 속도를 확보한다.
• 두 번째 단계 추정기는 깊이, 너비, 도구변수의 수의 곱이 샘플 크기의 다항식에 비례할 경우 반모수적 효율 경계에 도달한다.
• 첫 번째 단계 DNN 추정기의 더 빠른 수렴 덕분에, 두 번째 단계 추정기는 전통적 방법보다 더 작은 두 번째 차수 추정 오차를 가진다. 이는 Cheng과 Kosorok(2008)의 결과에 의해 공식화되어 있다.
• 전통적인 시리즈 추정기보다 최적의 도구변수에 대한 부드러움 조건이 더 약하다. 전통적 방법은 도구변수의 차원의 절반 이상의 부드러움을 요구하지만, 본 방법은 이를 초월하지 않아도 된다.
• 시뮬레이션 연구와 자동차 시장 데이터에 대한 실증 응용을 통해 이론적 예측이 확인되었으며, 유한 표본 성능 향상과 고차원 도구변수에 대한 강건성(robustness)이 입증되었다.
• 이론적 프레임워크는 DNN이 명시적인 모델링 없이도 복잡한 구조를 포착할 수 있는 능력 덕분에 효율적이고 일관된 추론이 가능하다는 점을 보여주며, Deep IV의 경험적 성공을 정당화한다.