[논문 리뷰] Inference for High-Dimensional Sparse Econometric Models

Alexandre Belloni, Victor Chernozhukov외 1명|arXiv (Cornell University)|2011. 12. 31.

Economic Growth and Productivity인용 수 58

한 줄 요약

이 논문은 L1-벌점 추정을 사용하여 고차원 희박 경제계량모형에 대한 추론 방법을 개발하며, 진짜 모형이 오직 근사적으로 희박한 경우에도 타당한 통계적 추론을 가능하게 한다. 약한 희박성 조건 하에서 추정기의 점근정규성을 확립하고, 도구변수 모형과 부분선형 모형에 대한 새로운 추론 절차를 제공하며, 교육 수익률과 성장 회귀에 적용한다.

ABSTRACT

This article is about estimation and inference methods for high dimensional sparse (HDS) regression models in econometrics. High dimensional sparse models arise in situations where many regressors (or series terms) are available and the regression function is well-approximated by a parsimonious, yet unknown set of regressors. The latter condition makes it possible to estimate the entire regression function effectively by searching for approximately the right set of regressors. We discuss methods for identifying this set of regressors and estimating their coefficients based on $\ell_1$-penalization and describe key theoretical results. In order to capture realistic practical situations, we expressly allow for imperfect selection of regressors and study the impact of this imperfect selection on estimation and inference results. We focus the main part of the article on the use of HDS models and methods in the instrumental variables model and the partially linear model. We present a set of novel inference results for these models and illustrate their use with applications to returns to schooling and growth regression.

연구 동기 및 목표

• 회귀변수의 수 p가 표본 크기 n을 초과하는 고차원 희박 모형에 대해 신뢰할 수 있는 추론 절차를 개발하기 위해.
• 진짜 희박 모형이 완전히 복원되지 않는 고차원 환경에서의 모형 선택의 불완전성 문제를 다루기 위해.
• 도구변수 모형과 많은 시리즈 항을 포함한 부분선형 모형과 같은 핵심 경제계량모형으로 타당한 추론을 확장하기 위해.
• 약한 희박성 가정 하에서 L1-벌점 추정의 이론적 근거를 제공하기 위해.
• 교육 수익률과 성장 회귀에서의 실증 적용을 통해 방법론 프레임워크를 시연하기 위해.

제안 방법

• p ≫ n 조건 하에서 L1-벌점 회귀(예: Lasso)를 사용하여 고차원 희박 모형을 추정한다.
• L1-벌점에 의해 유도된 편향을 보정하기 위해 더블/편향보정 절차를 적용하여 점근정규성을 확보한다.
• 구조적 파ameter에 대한 타당한 신뢰구간을 구축하기 위해 승수 부트스트랩 또는 분산 추정 기법을 적용한다.
• 교차검증 또는 관련 기준을 통한 데이터 기반의 정규화 파ameter 선택을 구현한다.
• empirical process 이론과 난수행렬 부등식을 사용하여 추정 오차의 이론적 경계를 유도한다.
• 배열 점근적 접근을 사용하여 p와 s(비영계수의 수)가 n과 함께 증가하는 조건 하에, s log p = o(n) 조건을 만족한다.

실험 결과

연구 질문

• RQ1 진짜 모형이 오직 근사적으로 희박하고 선택이 불완전한 경우에도 고차원 희박 모형에서 타당한 추론을 수행할 수 있는가?
• RQ2 L1-벌점 추정기는 어떻게 편향을 보정하여 고차원 환경에서 점근정규성을 달성하고, 신뢰구간을 가능하게 할 수 있는가?
• RQ3 많은 도구변수를 포함한 도구변수 모형에서, 편향보정된 Lasso 추정기의 이론적 성질은 무엇인가?
• RQ4 많은 시리즈 항을 포함한 부분선형 모형에 고차원 희박 모형을 어떻게 적용할 수 있는가?
• RQ5 실제 경제계량 응용에서 제안된 방법의 유한표본 성능과 실증적 관련성은 어떠한가?

주요 결과

• 약한 희박성 조건 하에서 편향보정 Lasso 추정기는 점근정규성을 만족하며, 분산 추정은 oP(1) 속도로 일致한다.
• 편향보정 추정기의 추정 오차는 O_P(√(s log p / n))로 경계지며, 이는 약한 희박성 하에서 최적이다.
• 많은 도구변수를 포함한 도구변수 모형에서도 이 방법은 타당한 추론을 달성하며, 도구변수의 수가 표본 크기와 함께 증가하더라도 성립한다.
• 많은 시리즈 항을 포함한 부분선형 모형은 제안된 편향보정 절차를 통해 타당한 추론으로 추정할 수 있다.
• 교육 수익률과 성장 회귀에 대한 실증 적용 결과, 이 방법은 신뢰구간의 올바른 커버리지와 함께 의미 있는 구조적 영향을 식별한다.
• 이론적 결과는 비정규 오차와 약한 의존성 조건을 포함한 최소한의 가정 하에서도 성립하여 실용적 적용 가능성을 높인다.