[논문 리뷰] Inference in Linear Regression Models with Many Covariates and Heteroskedasticity

Matias D. Cattaneo, Michael Jansson외 1명|arXiv (Cornell University)|2015. 07. 09.

Spatial and Panel Data Analysis참고 문헌 19인용 수 6

한 줄 요약

이 논문은 많은 공변량과 조건부 이방분산성을 가진 선형 회귀 모형에 대해 새로운 이방분산성에 강건한 표준오차 추정량 HC_K를 제안한다. 기존의 추정량들(예: HC0–HC4)과 달리, HC_K는 공변량의 수가 표본 크기의 비소멸적인 비율로 증가할 때에도 일致성을 유지하여, 표준오차가 이질적인 고차원 설정에서 타당한 추론을 보장한다.

ABSTRACT

The linear regression model is widely used in empirical work in Economics, Statistics, and many other disciplines. Researchers often include many covariates in their linear model specification in an attempt to control for confounders. We give inference methods that allow for many covariates and heteroskedasticity. Our results are obtained using high-dimensional approximations, where the number of included covariates are allowed to grow as fast as the sample size. We find that all of the usual versions of Eicker-White heteroskedasticity consistent standard error estimators for linear models are inconsistent under this asymptotics. We then propose a new heteroskedasticity consistent standard error formula that is fully automatic and robust to both (conditional)\ heteroskedasticity of unknown form and the inclusion of possibly many covariates. We apply our findings to three settings: parametric linear models with many covariates, linear panel models with many fixed effects, and semiparametric semi-linear models with many technical regressors. Simulation evidence consistent with our theoretical results is also provided. The proposed methods are also illustrated with an empirical application.

연구 동기 및 목표

• 많은 공변량을 포함한 선형 회귀 모형에서 표준 이방분산성에 강건한 표준오차의 일치성 문제를 해결하기 위해.
• 조건부 이방분산성과 고차원의 부수적 회귀자료가 존재하는 상황에서도 유효한 추론이 보장되는 완전 자동화된 방법을 개발하기 위해.
• 공변량의 수가 표본 크기와 비례적으로 증가할 때 OLS 추정량의 분포적 근사값을 제공하기 위해.
• 기존의 HC 추정량들(HC0–HC4)이 고차원 점점 증가하는 점근적 설정에서의 성능을 평가하기 위해.
• 많은 고정효과를 포함한 실증 적용에서 일치하지 않는 표준오차를 사용할 경우의 실무적 영향을 규명하기 위해.

제안 방법

• 공변량 수 Kn이 표본 크기 n과 비례적으로 증가하는 고차원 점근적 프레임워크에서 유도된 새로운 이방분산성에 강건한 분산 추정량 HC_K를 제안한다.
• Kn/n → c ∈ (0,1)를 만족하는 고차원 근사 설정 하에서 파라미터 관심 파rameter β에 대한 OLS 추정량의 점근적 정규성을 확립한다.
• Kn이 n에 비해 크더라도 OLS 추정량의 정규 근사가 타당해지기 위한 고차원적 조건을 고차원적 수준에서 유도한다.
• 약한 의존성과 모멘트 조건 하에서 고차원 중심극한정리를 활용하여 OLS 추정량의 점근적 분포를 정당화한다.
• 다양한 설정에 적용: 많은 제어 변수를 포함한 파라미터 모형, 다중 방향 고정효과를 가진 선형 패널 모형, 많은 기술적 회귀자료를 포함한 준모형.
• 이론적 결과의 타당성을 검증하고 실무적 영향을 설명하기 위해 시뮬레이션 연구와 NLSY79 데이터셋에 대한 실증 적용을 수행한다.

실험 결과

연구 질문

• RQ1 공변량의 수가 표본 크기의 비소멸적인 비율을 차지할 때, 기존의 이방분산성에 강건한 표준오차(HC0–HC4)는 일치하는가?
• RQ2 회귀자료에 특별한 구조가 없다는 가정 하에, 이방분산성과 고차원 공변량에 모두 강건한 새로운 표준오차 추정량을 구성할 수 있는가?
• RQ3 많은 고정효과를 포함한 실증 적용에서 일치하지 않는 표준오차를 사용할 경우 통계적 추론에 어떤 영향을 미치는가?
• RQ4 유한 표본에서 제안된 HC_K 추정량은 기존 방법들에 비해 크기와 검정력 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 초고차원 설정에서 모형 선택 후 추론에 적용될 수 있는가?

주요 결과

• 모든 기존의 이방분산성에 강건한 표준오차 추정량(HC0–HC4)은 공변량 수 Kn이 표본 크기 n의 비소멸적인 비율로 증가할 경우 일치하지 않는다.
• 제안된 HC_K 추정량은 조건부 이방분산성과 고차원 공변량이 존재하는 상황에서도 일치하며, Kn/n ≈ 0.3일 때조차도 성립한다.
• NLSY79에 대한 실증 적용에서, 고등학교 졸업자에 대한 능력의 수익률은 HC0에서는 통계적으로 유의미하지만, HC_K나 HC3에서는 그렇지 않다. 이는 기존 방법이 일치하지 않아 과도하게 귀무가설을 기각하기 때문임을 시사한다.
• 학사 졸업자에 대해서는 모든 방법, 포함 HC_K까지도 통계적으로 유의미한 결과를 도출하여 신호 대 잡음 비율이 높은 설정에서는 강건함을 보여준다.
• 시뮬레이션 결과는 HC_K가 고차원 설정에서 정확한 크기와 커버리지 확보를 유지하는 반면, HC0–HC4는 심각한 크기 왜곡을 보임을 확인한다.
• 결과적으로, 많은 공변량이 선택 후에도 남아 있는 상황에서 기존 표준오차를 기반으로 한 모형 선택 후 추론은 타당하지 않으며, 이에 대비해 HC_K와 같은 새로운 강건한 방법이 필요하다.