[논문 리뷰] High Dimensional Sparse Econometric Models: An Introduction

Alexandre Belloni, Victor Chernozhukov|arXiv (Cornell University)|2011. 06. 26.

Monetary Policy and Economic Impact인용 수 17

한 줄 요약

이 논문은 예측자 수 $ p $ 가 많고, 그 중에서 유의미한 변수 수 $ s \ll n $ 만이 관련이 있는 고차원 희박 경제수리 모델을 소개한다. $ \ell_1 $-정규화(라소) 및 라소 이후 선택 방법을 사용하여 희박 모델을 일관되게 추정하고, 약한 희박성과 제한된 고유값 조건 하에서 이론적 보장을 확립하며, 솔로우-스완 성장 모델을 활용한 실증적 검증을 수행한다.

ABSTRACT

In this chapter we discuss conceptually high dimensional sparse econometric models as well as estimation of these models using L1-penalization and post-L1-penalization methods. Focusing on linear and nonparametric regression frameworks, we discuss various econometric examples, present basic theoretical results, and illustrate the concepts and methods with Monte Carlo simulations and an empirical application. In the application, we examine and confirm the empirical validity of the Solow-Swan model for international economic growth.

연구 동기 및 목표

• 예측자 수 $ p $ 가 표본 크기 $ n $ 를 초과하는 고차원 희박 경제수리 모델의 추정 방법을 개발하고 체계화한다.
• 희박성 및 설계 모멘트 조건 하에서 $ \ell_1 $-정규화 및 라소 이후 선택 추정량의 이론적 성질을 확립한다.
• 고차원 희박 회귀 기법을 사용하여 국제 경제 성장에 대한 솔로우-스완 모델의 실증적 타당성을 입증한다.
• 비모수적 회귀 함수가 복잡한 경우에도, 기저 함수의 희박한 선형 조합으로 잘 근사될 수 있음을 보여준다.
• 현대 고차원 통계 기법을 활용하여 경제수리 모델링에서의 희박 모델링에 대한 이론적 기반을 제공한다.

제안 방법

• 희박성 조건을 가정하여 고차원 희박(HDS) 선형 모델 $ y_i = x_i'\beta_0 + \varepsilon_i $ 을 수립하며, $ \beta_0 $ 는 비제로 성분이 $ s \ll n $ 개인 희박 벡터이다.
• 기저 함수 전개를 통해 근사적 HDS 모델을 제시한다: $ y_i = x_i'\beta_0 + r_i + \varepsilon_i $, 여기서 $ r_i $ 는 $ p \gg n $ 개의 기저 함수를 사용할 때 발생하는 작은 근사 오차이다.
• 라소를 활용한 $ \ell_1 $-정규화 최소제곱법을 적용하여 $ \beta_0 $ 를 추정하며, $ \sum_{i=1}^n (y_i - x_i'\beta)^2 + \lambda \|\beta\|_1 $ 을 최소화한다.
• 라소 이후 선택(예: 포스트-라소) 방법을 사용하여, 먼저 라소로 변수를 선택한 후, 선택된 모형에 대해 OLS로 추정한다.
• 설계 행렬의 제한된 고유값 조건과 희박 고유값 성질을 활용하여 추정 오차 및 예측 오차에 대한 비점근적 경계를 유도한다.
• 설계 행렬의 모멘트 조건과 희박성 조건 하에서 모형 선택 일관성 및 추정 오차율에 대한 이론적 결과를 도출한다.

실험 결과

연구 질문

• RQ1 진정으로 관련이 있는 변수 수 $ s \ll n $ 인 경우, $ p \gg n $ 인 고차원 희박 모델이 $ \ell_1 $-정규화를 통해 일관되게 추정될 수 있는가?
• RQ2 비모수적 모델에서의 근사 오차 $ r_i $ 는 $ \ell_1 $-기반 추정량의 성능에 어떤 영향을 미치는가?
• RQ3 고차원 설정에서 표준 라소보다 포스트-라소 이후 선택 방법이 추정 정확도를 향상시킬 수 있는가?
• RQ4 고차원 희박 방법으로 추정할 때, 국제 성장에 대한 솔로우-스완 모델은 실증적으로 타당한가?
• RQ5 고차원 희박 모델에서 일관된 추정을 위해 필요한 최소한의 모멘트 조건과 희박성 조건은 무엇인가?

주요 결과

• 이론적 분석 결과, 제한된 고유값 조건 하에서 $ \ell_1 $-정규화 추정량은 추정 오차율이 $ \sqrt{s \log p / n} $ 의 주기로 이루어진다.
• 포스트-라소 이후 선택 방법은 라소 단독보다 추정 오차 및 예측 오차율이 더 우수한 성능을 보이며, 특히 진정한 모형이 희박한 경우에 유의미한 개선이 이루어진다.
• 비모수적 HDS 모델에서 근사 오차 $ r_i $ 는 저차 다항식이 복잡한 함수 형태를 포착하지 못할 때조차도 풍부한 기저 함수 사전을 활용해 작게 유지할 수 있다.
• 몬테카를로 시뮬레이션을 통해 $ \ell_1 $-기반 방법의 이론적 성능을 확인하였으며, 고차원 설계 및 희박성에 대해 뛰어난 내구성을 보였다.
• 솔로우-스완 모델에 대한 실증 적용 결과, 고차원 희박 회귀 기법을 사용할 경우 기존의 저차원 근사보다 모형 적합도가 크게 향상되었고, 이는 모델의 타당성을 뒷받침한다.
• 제한된 고유값 및 희박 고유값 조건에 대한 이론적 경계는 약한 희박성 조건 하에서도 일관된 변수 선택과 추정을 보장한다.