[논문 리뷰] Regularized Quantile Regression with Interactive Fixed Effects

Junlong Feng|arXiv (Cornell University)|2019. 11. 01.

Statistical Methods and Inference참고 문헌 36인용 수 6

한 줄 요약

이 논문은 대규모 $N$ 및 $T$ 패널 데이터 모델에서 상호작용 고정효과를 갖는 정규화된 분위수 회귀를 위한 핵노름 페널티 추정량을 제안한다. 이 방법은 볼록 최적화를 통해 계수와 저랭크 고정효과를 동시에 추정하며, 사전에 요인 수를 추정하지 않더라도 모든 분위수 수준에서 균일한 일致성을 달성한다. 이론적 오차 경계와 증명된 계산 효율성은 증강 라그랑주 알고리즘을 통해 확보된다.

ABSTRACT

This paper studies large $N$ and large $T$ conditional quantile panel data models with interactive fixed effects. We propose a nuclear norm penalized estimator of the coefficients on the covariates and the low-rank matrix formed by the fixed effects. The estimator solves a convex minimization problem, not requiring pre-estimation of the (number of the) fixed effects. It also allows the number of covariates to grow slowly with $N$ and $T$. We derive an error bound on the estimator that holds uniformly in quantile level. The order of the bound implies uniform consistency of the estimator and is nearly optimal for the low-rank component. Given the error bound, we also propose a consistent estimator of the number of fixed effects at any quantile level. To derive the error bound, we develop new theoretical arguments under primitive assumptions and new results on random matrices that may be of independent interest. We demonstrate the performance of the estimator via Monte Carlo simulations.

연구 동기 및 목표

• 패널 데이터의 분포적 이질성을 조건부 분위수와 상호작용 고정효과로 모델링하여 다루기 위해.
• 비볼록 최적화를 피하고 고정효과 수를 사전에 추정하지 않는 계산 효율적인 추정량을 개발하기 위해.
• 고정효과 행렬의 저랭크 구조 하에 모든 분위수 수준에서 추정량의 균일한 이론적 오차 경계를 확립하기 위해.
• 모든 분위수 수준에서 상호작용 고정효과 수의 일致한 추정량을 제안하기 위해.
• 비볼록 대안과의 비교를 통해 몬테카를로 시뮬레이션을 통해 방법의 성능을 시연하기 위해.

제안 방법

• 저랭크 고정효과 행렬 $L$ 에 핵노름 페널티를 적용하여 특이값에 대한 희박성 유도를 통해 랭크 최소화의 볼록 대체물로 작용한다.
• 볼록 최적화 문제 $\min_{\beta, L} \frac{1}{NT}\sum_{i,t}\rho_u(Y_{it} - X_{it}'\beta - L_{it}) + \lambda\|L\|_*$ 를 해결하며, 여기서 $\rho_u$ 는 체크 함수이고 $\|L\|_*$ 는 핵노름이다.
• 증강 라그랑주 승수 알고리즘을 활용하여 추정량을 효율적으로 계산함으로써 대규모 패널에 대한 확장성을 확보한다.
• 기초 가정 하에 이론적 오차 경계를 유도하며, 분위수 수준에서 추정량의 균일한 일치성을 입증한다.
• 오차 경계와 특이값 감쇠를 바탕으로 상호작용 고정효과 수의 일치 추정량을 제안한다.
• 약한 모멘트 및 의존 조건 하에서 오차 경계를 지지하기 위해 새로운 랜덤 행렬 이론 결과와 이론적 추론을 활용한다.

실험 결과

연구 질문

• RQ1 분위수 특이성 이질성이 있는 대규모 패널 데이터 모델에서 볼록이고 정규화된 추정량이 계수와 저랭크 상호작용 고정효과를 균일하게 일치하여 추정할 수 있는가?
• RQ2 사전에 요인 수를 지정하지 않더라도 핵노름 페널티가 고정효과 행렬의 저랭크 구조를 효과적으로 복원하는가?
• RQ3 반복 최적화가 필요하고 국소 최소값에 취약한 비볼록 대안과 비교할 때 유한 표본에서 제안된 추정량은 어떻게 성능을 내는가?
• RQ4 제안된 프레임워크를 통해 모든 분위수 수준에서 상호작용 고정효과 수를 일치하여 추정할 수 있는가?
• RQ5 모든 분위수 수준에서 추정량의 균일한 오차 경계는 무엇이며, 이는 최적 속도에 얼마나 가까운가?

주요 결과

• 제안된 핵노름 페널티 추정량은 모든 분위수 수준에서 계수와 고정효과를 균일하게 일치하여 추정하며, 저랭크 성분에 대해 거의 최적에 가까운 오차 경계를 확보한다.
• 몬테카를로 시뮬레이션 결과, 비볼록 반복 대안 대비 계산 시간을 크게 단축시키며, 대규모 패널에서 최대 10배의 속도 향상을 보였다.
• 추정량은 상호작용 고정효과 수를 일관되게 추정하며, 표본 크기가 증가할수록 모델 선택 정확도가 향상된다 (예: $N=T=500$ 에서 $u=0.5$ 에서 95%).
• 중심극한이 약한 오차 (예: 2도자유도를 가진 $t$-분포) 조건 하에서 추정량은 낮은 편향과 평균제곱오차를 유지하며, $u=0.8$ 에서 $N=T=200$ 에서 $\text{MSE}_L = 44.7$ 에서 $N=T=500$ 에서 $\text{MSE}_L = 43.4$ 로 감소한다.
• 약한 의존 조건 하에서 오차 경계는 $O_p(\sqrt{\log(NT)/NT})$ 의 형태로 스케일링되며, 저랭크 성분에 대해 거의 최적의 수렴 속도를 나타낸다.
• 고차원적 예측변수에 대해서도 강인하며, $N$ 과 $T$ 에 따라 느리게 증가하는 예측변수 수를 허용한다.