[논문 리뷰] High-Dimensional Econometrics and Regularized GMM

Alexandre Belloni, Victor Chernozhukov외 3명|arXiv (Cornell University)|2018. 06. 05.

Statistical Methods and Inference인용 수 17

한 줄 요약

이 논문은 표본 크기 대비 많은 수의 매개변수를 가진 모형에서 추정 및 추론을 위한 고차원 점근 이론을 개발한다. 주로 정규화된 일반화된 방법의 모멘트(GMM)에 초점을 맞추며, 고차원 중심극한정리, 부트스트랩 근사, 중간편차 부등식을 수립하여 고차원 매개변수의 기능에 대한 타당한 추론을 가능하게 한다. 이는 동시에 신뢰구간과 거짓 발견률 제어를 포함하며, 고차원 선형 모형과 도구변수 모형에 적용 가능하다.

ABSTRACT

This chapter presents key concepts and theoretical results for analyzing estimation and inference in high-dimensional models. High-dimensional models are characterized by having a number of unknown parameters that is not vanishingly small relative to the sample size. We first present results in a framework where estimators of parameters of interest may be represented directly as approximate means. Within this context, we review fundamental results including high-dimensional central limit theorems, bootstrap approximation of high-dimensional limit distributions, and moderate deviation theory. We also review key concepts underlying inference when many parameters are of interest such as multiple testing with family-wise error rate or false discovery rate control. We then turn to a general high-dimensional minimum distance framework with a special focus on generalized method of moments problems where we present results for estimation and inference about model parameters. The presented results cover a wide array of econometric applications, and we discuss several leading special cases including high-dimensional linear regression and linear instrumental variables models to illustrate the general results.

연구 동기 및 목표

• 표본 크기 n에 비해 매개변수의 수 p가 큰 고차원 이코노메트릭 모형에서의 추론을 위한 이론적 프레임워크를 개발하는 것.
• 기존의 점근 도구—예를 들어 중심극한정리와 부트스트랩 방법—을 p ≫ n 조건 하에서 고차원 환경으로 확장하는 것.
• 고차원 매개변수 벡터에서 가족 오류율(FWER) 또는 거짓 발견률(FDR) 제어를 위한 동시에 추론 및 다중 검정에 대한 엄밀한 이론을 제공하는 것.
• 고차원 정규성 조건 하에서 정규화된 GMM 추정량, 특히 더블/편향제거 추정량의 타당성을 확립하는 것.
• 많은 모멘트 조건 또는 도구변수를 가진 모형에 대해 기존의 고차원 추정 및 추론 결과를 통합하고 일반화하는 것.

제안 방법

• 추정량을 근사적으로 선형 형태로 표현하기 위해 Many Approximate Means(MAM) 프레임워크를 사용: √n(θ̂ − θ₀) = (1/√n)∑Zᵢ + rₙ, 여기서 Zᵢ는 영향 함수이며 rₙ은 무시할 수 있는 오차이다.
• p ≫ n 조건 하에서 √n(θ̂ − θ₀)의 분포에 대해 고차원 중심극한정리(CLT)와 부트스트랩 근사를 적용한다.
• 고차원 합의 尾행동을 제어하기 위해 중간편차 부등식 및 최대/반대집중 부등식을 활용한다.
• 고차원 모형에서 매개변수를 솔직하게 추정할 수 있도록 네이만-수정된(orthogonal) 추정 방정식의 개념을 도입한다.
• 정규화와 수직 모멘트 조건을 결합하여 루트-n 점근 정규성을 보장하는 더블/편향제거 정규화된 GMM(DRGMM) 프레임워크를 개발한다.
• 수축 원리와 대칭화 기법(Rademacher 코어니)을 활용하여 고차원 매개변수 공간 위에서의 경험과정 초과값을 유 bounds 한다.

실험 결과

연구 질문

• RQ1 p ≫ n 조건 하에서 고차원 매개변수 벡터 θ₀의 모든 성분에 대해 동시에 신뢰구간을 어떻게 구성할 수 있는가?
• RQ2 고차원 모형에서 추정량의 고차원 표본분포를 부트스트랩이 얼마나 정확하게 근사할 수 있는가? 그 조건은 무엇인가?
• RQ3 다중 고차원 가설 검정에서 가족 오류율(FWER) 또는 거짓 발견률(FDR)을 어떻게 제어할 수 있는가?
• RQ4 많은 모멘트 조건을 가진 고차원 모형에서 정규화된 GMM 추정량에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 더블/편향제거 GMM 추정량이 고차원 설정에서 루트-n 점근 정규성을 확보하는 조건은 무엇인가?

주요 결과

• 약한 모멘트 조건 하에서도 고차원 중심극한정리가 성립하며, p가 n을 초월할 정도로 증가하더라도 추정량의 점근 정규성을 보장한다.
• 약한 모멘트 및 의존성 조건 하에서 고차원 표본분포에 대한 부트스트랩 근사는 타당하며, 명시적 분산 추정 없이도 추론이 가능하다.
• 모든 p개 성분에 대해 θ₀의 최대 편차를 이용하여 동시에 신뢰구간을 구성할 수 있으며, 이때 신뢰도는 명목 수준에 수렴한다.
• 개별 검정 통계량의 점근 정규성을 바탕으로 한 임계값 절단 기반 절차를 통해 고차원 다중검정에서 거짓 발견률(FDR) 제어가 가능하다.
• 비교적 작은 손실 매개변수 추정 오차를 가진 조건 하에서, 더블/편향제거 정규화된 GMM(DRGMM) 추정량은 p ≫ n 조건 하에서도 루트-n 점근 정규성을 확보한다.
• 수축 원리와 서브가우시안 尾부 부등식을 활용하여 DRGMM 추정량의 오차에 대한 이론적 경계를 유도하였으며, 이는 고차원 설정에서의 강건성을 보장한다.