[논문 리뷰] High-Dimensional Metrics in R

Victor Chernozhukov, C. Hansen외 1명|arXiv (Cornell University)|2016. 03. 05.

Statistical Methods and Inference참고 문헌 6인용 수 3

한 줄 요약

이 논문은 고차원 근사 희박 모형에서 추론을 위한 이론적으로 타당하고 데이터 기반의 방법을 제공하는 R 패키지 hdm을 소개한다. 이는 이론적이고 효율적인 교차검증보다 뛰어난 성능을 보이는 엄밀한 라소(rlasso)를 사용하여 이질분산성과 비정규 오차를 가진 상황에서도 낮은 차원의 매개변수(예: 치료 효과, 회귀 계수)에 대한 효율적 추정과 균일하게 타당한 신뢰구간을 가능하게 한다.

ABSTRACT

The package High-dimensional Metrics (\Rpackage{hdm}) is an evolving collection of statistical methods for estimation and quantification of uncertainty in high-dimensional approximately sparse models. It focuses on providing confidence intervals and significance testing for (possibly many) low-dimensional subcomponents of the high-dimensional parameter vector. Efficient estimators and uniformly valid confidence intervals for regression coefficients on target variables (e.g., treatment or policy variable) in a high-dimensional approximately sparse regression model, for average treatment effect (ATE) and average treatment effect for the treated (ATET), as well for extensions of these parameters to the endogenous setting are provided. Theory grounded, data-driven methods for selecting the penalization parameter in Lasso regressions under heteroscedastic and non-Gaussian errors are implemented. Moreover, joint/ simultaneous confidence intervals for regression coefficients of a high-dimensional sparse regression are implemented, including a joint significance test for Lasso regression. Data sets which have been used in the literature and might be useful for classroom demonstration and for testing new estimators are included. \R and the package \Rpackage{hdm} are open-source software projects and can be freely downloaded from CRAN: exttt{http://cran.r-project.org}.

연구 동기 및 목표

• 모수의 수가 표본 크기를 초과하는 고차원 모형에서 통계적 추론의 과제를 해결한다.
• 고차원 근사 희박 모형에서 낮은 차원의 구성요소(예: 치료 효과, 회귀 계수)에 대한 타당한 추론을 위한 방법을 개발한다.
• 교차검증에 의존하지 않고 이론적으로 타당한 데이터 기반 방법을 통해 라소의 페널티 파라미터 λ를 선택하는 방법을 제공한다.
• 고차원 설정에서 다중 회귀 계수에 대한 동시에나 타당한 신뢰영역을 가능하게 한다.
• 균일하게 타당한 신뢰구간과 유의성 검정을 통해 경제학 및 데이터 과학 적용 분야에서 인과 추론을 촉진한다.

제안 방법

• 비정규 및 이질분산 오차를 처리할 수 있는 '엄밀한 라소'(rlasso) 추정기 구현으로 고차원 회귀에서의 강건성을 향상시킨다.
• 라소 회귀에서 페널티 파라미터 λ를 선택하기 위한 데이터 기반의 이론적 기반 방법을 도입하여 교차검증에 비해 계산 부담을 감소시킨다.
• 고차원 모형에서 목표 계수의 신뢰구간을 구축하기 위해 부분회귀 기법(패러링아웃)을 통한 직교성 원리를 적용한다.
• Belloni, Chernozhukov, 및 Kato(2014)의 프레임워크를 활용하여 고차원 회귀 계수에 대한 균일하게 타당한 동시 신뢰영역을 구축한다.
• 더블/디biased 머신러닝 원리를 적용하여 평균 치료 효과(ATE), 치료를 받은 자들의 평균 치료 효과(ATET), 그리고 내생적 치료 설정에서의 추론을 확장한다.
• 실제 응용 및 실제 데이터셋(예: CPS, BLP, AJR, EminentDomain)을 통합하여 경제학 및 그 외 분야에서의 방법론적 유용성을 입증한다.

실험 결과

연구 질문

• RQ1 고차원 근사 희박 모형에서 단일 회귀 계수에 대해 균일하게 타당한 신뢰구간을 어떻게 구성할 수 있는가?
• RQ2 이질분산성 또는 비정규 오차가 존재할 때, 이론적으로 타당하고 데이터 기반의 라소 페널티 파라미터 λ 선택 방법은 무엇인가?
• RQ3 고차원 모형에서 다중 회귀 계수에 대한 동시 추론을 수행하고 타당한 동시 커버리지 비율을 확보하는 방법은 무엇인가?
• RQ4 다수의 혼란 변수가 존재하는 고차원 모형에서 평균 치료 효과(ATE 및 ATET)를 추정하고 검정할 수 있는가?
• RQ5 내생적 치료와 다수의 제어 변수를 포함하는 고차원 설정에서 공구변수 추정을 어떻게 확장할 수 있는가?

주요 결과

• hdm의 rlasso 추정기는 이질분산성 및 비정규 오차 분포 하에서도 고차원 회귀 계수의 일致성과 효율성 있는 추정을 제공한다.
• rlasso에 대한 데이터 기반 페널티 선택 방법은 교차검증에 비해 계산 비용을 감소시키면서도 이론적 타당성을 유지한다.
• 직교성 원리를 활용한 목표 계수의 균일하게 타당한 신뢰구간은 고차원 설정에서도 정확한 커버리지 비율을 보장한다.
• 다중 회귀 계수에 대한 동시 신뢰영역은 고차원 Z-추정 이론 하에서 타당하게 구현되었으며 성립함을 입증하였다.
• 401(k) 참가 및 경제 개발 분석 응용 사례를 통해 다수의 혼란 변수가 존재하는 고차원 모형에서 ATE 및 ATET에 대한 신뢰할 수 있는 추론이 가능하다.
• 실제 데이터셋(예: CPS, BLP, AJR, EminentDomain)의 통합은 경제학적 응용 분야에서의 재현 가능성 연구 및 신규 추정기의 기준 설정을 지원한다.