[논문 리뷰] Inference for high-dimensional instrumental variables regression

David Gold, Johannes Lederer외 1명|arXiv (Cornell University)|2017. 08. 18.

Statistical Methods and Inference참고 문헌 40인용 수 8

한 줄 요약

이 논문은 높은 차원의 계량투입변수(IV) 회귀에서 끝내기 문제를 해결하기 위한 새로운 일단계 탈편향 방법을 제안한다. 이는 끝내기 문제로 인해 개별 회귀 계수에 대한 점근적 유효한 추론을 가능하게 한다. 매개변수적 일단계 업데이트를 이중 단계 Lasso 절차에 적응시키고 네 개의 나머지 항을 제어함으로써, 점근적 정규성을 확보하고 표본 크기를 초월하는 회귀자와 도구변수를 가진 고차원 IV 모형에서 유효한 신뢰구간을 구축한다.

ABSTRACT

This paper concerns statistical inference for the components of a high-dimensional regression parameter despite possible endogeneity of each regressor. Given a first-stage linear model for the endogenous regressors and a second-stage linear model for the dependent variable, we develop a novel adaptation of the parametric one-step update to a generic second-stage estimator. We provide conditions under which the scaled update is asymptotically normal. We then introduce a two-stage Lasso procedure and show that the second-stage Lasso estimator satisfies the aforementioned conditions. Using these results, we construct asymptotically valid confidence intervals for the components of the second-stage regression coefficients. We complement our asymptotic theory with simulation studies, which demonstrate the performance of our method in finite samples.

연구 동기 및 목표

• 끝내기 회귀자가 존재하는 고차원 회귀 계수 벡터의 개별 성분에 대한 통계적 추론을 가능하게 하기 위해.
• 저차원 및 일반적인 회귀 설정에서의 탈편향 기법을 고차원 이중 단계 IV 모형으로 확장하기 위해.
• 회귀자 수와 도구변수 수가 모두 표본 크기를 초월하는 이중 고차원 설정에서의 추론을 위한 일반적 프레임워크를 개발하기 위해.
• 탈편향 추정량이 개별 계수에 대해 점근적으로 정규적인 기준통계량을 제공하는 조건을 규명하기 위해.
• 이 조건 하에서 이중 단계 Lasso 추정량을 사용한 추론의 가능성을 입증하기 위해.

제안 방법

• 끝내기 문제를 보정하기 위해 유효한 모멘트 조건의 경험적 유사체를 사용하여, 매개변수적 일단계 업데이트를 일반적인 이중 단계 추정량에 적응시킨다.
• 업데이트된 추정량을 주요 항과 네 개의 나머지 항으로 분해하여, 끝내기 문제와 고차원성으로 인한 복잡성을 반영한다.
• 첫 번째 단계에서의 예측 오차를 고려하여, 도구변수 조건 하에서 끝내기 회귀자의 조건부 평균의 정밀도 행렬을 추정하기 위해 수정된 CLIME 추정량을 사용한다.
• 예측값 E[X|Z]에 의존하는 두 번째 단계 Lasso 추정량에 일단계 업데이트를 적용함으로써, 고차원 설정 하에서도 일致성을 확보한다.
• 두 번째 단계 Lasso의 ℓ1 추정 오차에 대한 확률적 경계를 유도하여, 나머지 항의 점근적 무시 가능성을 보여준다.
• 소음과 도구변수에 대해 서브가우시안 가정을 적용하여, 다각도의 분포 모델링을 지원하고 농도 부등식을 도출한다.

실험 결과

연구 질문

• RQ1 끝내기 회귀자가 존재하는 고차원 IV 모형에서 개별 계수에 대해 점근적으로 유효한 신뢰구간을 구성할 수 있는가?
• RQ2 탈편향된 이중 단계 Lasso 추정량이 어떤 조건에서 개별 회귀 계수에 대해 점근적으로 정규성을 확보하는가?
• RQ3 회귀자와 도구변수 수가 모두 표본 크기를 초월하는 고차원 설정에서 탈편향 추정량의 추정 오차와 나머지 항은 어떻게 행동하는가?
• RQ4 도구변수 간 상관관계와 활성 집합의 크기가 신뢰구간의 커버리지에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 Lasso를 초월하여 다른 정규화 추정량이나 일반화된 모멘트 방법 프레임워크로 확장될 수 있는가?

주요 결과

• 제안된 방법은 다양한 설정에서 명목상 95%에 가까운 신뢰구간 커버리지를 달성하며, 표본 크기가 증가함에 따라 커버리지가 약 0.95로 안정화된다.
• 활동 집합 크기(sβ)가 증가할수록 커버리지가 악화되며, 이는 알려진 Lasso 추정 오차 경계와 일치하지만, 표본 크기가 클수록 크게 향상된다.
• 도구변수의 토플리츠 공분산 구조는 더 높은 도구변수 간 상관관계로 인해 원형 대칭 구조보다 낮은 커버리지를 보인다.
• 표본 크기가 증가할수록 평균 신뢰구간 길이가 감소하여, 탈편향 추정량의 정밀도 향상을 반영한다.
• 두 번째 단계 Lasso 추정량의 평균제곱오차(MSE)는 표본 크기가 증가함에 따라 감소하며, n=500 및 px=600일 때 0.001 이하로 떨어진다.
• 모든 회귀자와 도구변수 수가 표본 크기를 초월하는 상황에서도 이 방법은 점근적으로 유효한 추론을 지원하며, 이중 고차원 설정에서의 강건성을 입증한다.