[논문 리뷰] Oracle Inequalities for High-Dimensional Panel Data Models

Anders Kock|arXiv (Cornell University)|2013. 10. 30.

Spatial and Panel Data Analysis참고 문헌 21인용 수 11

한 줄 요약

이 논문은 표본 크기보다 회귀변수의 수가 많은 고차원 고정효과 패널 데이터 모형에 대해 패널-라소 추정기법을 제안한다. 희박성 조건 하에서 추정 오차에 대해 정밀한 오라클 부등식을 확립하고, 라소 및 적응형 라소의 일致성과 점진적 부호 일致성을 증명하며, 약한 의존성, 이방성, 비정규 오차 하에서도 이들 방법이 여전히 타당하다는 것을 보여준다.

ABSTRACT

This paper is concerned with high-dimensional panel data models where the number of regressors can be much larger than the sample size. Under the assumption that the true parameter vector is sparse we propose a panel-Lasso estimator and establish finite sample upper bounds on its estimation error under two different sets of conditions on the covariates as well as the error terms. In particular, we allow for heteroscedastic and non-gaussian error terms which are weakly dependent over time. Upper bounds on the estimation error of the unobserved heterogeneity are also provided under the assumption of sparsity. Next, we show that our upper bounds are essentially optimal in the sense that they can only be improved by multiplicative constants. These results are then used to show that the Lasso can be consistent in even very large models where the number of regressors increases at an exponential rate in the sample size. Conditions under which the Lasso does not discard any relevant variables asymptotically are also provided. In the second part of the paper we give lower bounds on the probability with which the adaptive Lasso selects the correct sparsity pattern in finite samples. These results are then used to give conditions under which the adaptive Lasso can detect the correct sparsity pattern asymptotically. We illustrate our finite sample results by simulations and apply the methods to search for covariates explaining growth in the G8 countries.

연구 동기 및 목표

• 표본 수보다 회귀변수의 수가 많은 고차원 고정효과 패널 데이터 모형에 대해 계산적으로 실현 가능하고 이론적으로 타당한 추정기법을 개발하기.
• 희박성 조건 하에서 계수 벡터와 미관측 이질성에 대한 유한표본 추정 오차 상한을 확립하기.
• 회귀변수의 수가 표본 크기와 함께 지수적으로 증가하는 경우에도 라소 및 적응형 라소가 일치성과 올바른 변수 선택을 달성할 수 있음을 보여주기.
• 유한표본에서 적응형 라소가 올바른 희박성 패턴 선택 확률에 대한 비점근적 상한을 유도하기.
• 제안된 상한이 본질적으로 최적임을 보이며, 승수 상수 이외의 개선은 불가능함을 보여주기.

제안 방법

• 고차원 고정효과 패널 모형에서 동시에 변수 선택과 매개변수 추정을 수행하는 패널-라소 추정기법을 제안한다.
• 두 가지 다른 모멘트 및 오차 조건 하에서 계수 벡터 $\hat{\beta}$와 미관측 이질성 $\hat{c}$의 추정 오차에 대해 유한표본 오라클 부등식을 도출한다.
• 약한 의존성과 이방성 하에서 추정기의 행동을 제어하기 위해 고확률 사건 $\mathcal{A}_{N,T}$, $\mathcal{B}_{N,T}$, $\mathcal{C}_{1,N,T}$에 기반한다.
• 데이터 기반 가중치를 라소의 L1 펜alty에 적용하여 변수 선택 일치성을 향상시키기 위해 적응형 라소를 사용한다.
• 추정 계수의 부호가 진짜 매개변수의 부호와 고확률으로 일致하는 조건을 설정한다.
• 집중 부등식과 설계 행렬 및 오차 항에 대한 모멘트 조건을 조합하여 비점근적 상한을 도출한다.

실험 결과

연구 질문

• RQ1 라소 추정기법은 표본 크기와 함께 지수적으로 증가하는 회귀변수 수를 가진 고차원 패널 데이터 모형에서 일관된 추정을 달성할 수 있는가?
• RQ2 라소 추정기법은 어떤 조건에서 고차원 환경에서 일관성을 유지하고 관련 변수를 제거하지 않는가?
• RQ3 계수와 미관측 이질성에 대해 패널-라소의 추정 오차에 대한 유한표본 상한은 무엇인가?
• RQ4 적응형 라소는 어떤 조건에서 유한표본에서 높은 확률로 올바른 희박성 패턴 선택을 달성하는가?
• RQ5 오차 항의 약한 의존성과 이방성이 패널 모형에서 라소 및 적응형 라소의 성능에 어떤 영향을 미치는가?

주요 결과

• 패널-라소 추정기법은 오차 항의 약한 의존성과 이방성 하에서도 승수 상수 이외의 개선 없이 최적의 추정 오차 상한을 달성한다.
• 진짜 매개변수 벡터가 희박하고 설계 행렬이 적절한 모멘트 조건을 만족할 경우, 라소 추정기법은 계수 벡터 $\beta^*$와 미관측 이질성 $c^*$에 대해 일관성을 보인다.
• 적응형 라소는 $3b + c < 1 + a$, $5b + 3c < 1 + a$, $2b + 3c < 1 + a$ 등의 조건 하에서 유한표본에서 높은 확률로 올바른 희박성 패턴 선택을 달성한다.
• $9b + 2c \leq 1$일 경우 적응형 라소의 점진적 부호 일치성이 확립되어, 추정 계수의 부호가 진짜 매개변수의 부호와 확률이 1로 수렴함을 보장한다.
• 제시된 정규성 조건 하에서 적응형 라소의 올바른 변수 선택 확률은 표본 크기와 함께 지수적으로 증가하는 회귀변수 수가 존재하더라도 1로 수렴한다.
• 논문은 진짜 매개변수 벡터가 희박하고 설계 행렬이 제한된 고유값 유형 조건을 만족할 경우, $p_{N,T}$가 $NT$에 대해 지수적 속도로 증가하는 모형에서도 라소가 일관성을 가질 수 있음을 보여준다.