[논문 리뷰] Principal Components and Regularized Estimation of Factor Models

Jushan Bai, Serena Ng|arXiv (Cornell University)|2017. 08. 27.

Spatial and Panel Data Analysis참고 문헌 33인용 수 13

한 줄 요약

이 논문은 반복 릿지 회귀를 통한 특이값 임계처리를 이용한 정규화된 요인 모델 추정 방법을 제안한다. 이는 공통 성분의 최소질량 근사화를 달성하기 위해 특이값을 압축한다. 주요 기여는 약한 요인과 측정 노이즈에 대해 더 강건한 요인 선택을 위한 데이터 기반 페널티를 제안한 것으로, 적재량에 대한 선형 제약 조건 하에서 추론을 뒷받침하는 점근적 이론을 제공한다.

ABSTRACT

It is known that the common factors in a large panel of data can be consistently estimated by the method of principal components, and principal components can be constructed by iterative least squares regressions. Replacing least squares with ridge regressions turns out to have the effect of shrinking the singular values of the common component and possibly reducing its rank. The method is used in the machine learning literature to recover low-rank matrices. We study the procedure from the perspective of estimating a minimum-rank approximate factor model. We show that the constrained factor estimates are biased but can be more efficient in terms of mean-squared errors. Rank consideration suggests a data-dependent penalty for selecting the number of factors. The new criterion is more conservative in cases when the nominal number of factors is inflated by the presence of weak factors or large measurement noise. The framework is extended to incorporate a priori linear constraints on the loadings. We provide asymptotic results that can be used to test economic hypotheses.

연구 동기 및 목표

• 약한 요인과 측정 노이즈에 대해 더 강건한 정규화된 요인 추정의 통계적 기반 프레임워크를 개발하는 것.
• 릿지 회귀를 통합하여 특이값을 압축하고 공통 성분의 질량을 감소시킴으로써 주성분 방법을 확장하는 것.
• 약한 요인 또는 노이즈가 명목상의 요인 수를 과대평가할 경우 더 보수적인 선택을 가능하게 하는 데이터 기반 페널티 기준을 제안하는 것.
• 일반 선형 제약 조건을 통한 적재량에 대한 빈도주의 추론 프레임워크를 제공하여, 질량 제약 조건이 있거나 없을 경우 모두 경제적 가설을 검증하는 것.
• 정규화된 모델 하에서 요인과 적재량 추정치의 점근적 분포를 확립하여 타당한 통계적 추론을 가능하게 하는 것.

제안 방법

• 공통 성분의 특이값을 압축시키기 위해 최소제곱 대신 반복 릿지 회귀를 사용하여 요인 적재량과 스코어를 추정한다.
• 작은 특이값을 0으로 설정하기 위해 특이값 임계처리(SVT)를 적용하여 데이터 행렬의 낮은 질량 근사화를 도출한다.
• 요인과 적재량에 모두 티코노프 유형의 페널티를 적용하여 프레셰 노름을 최소화하는 정규화된 최적화 문제의 해로 추정량을 유도한다.
• 라그랑주 승수를 통한 적재량에 대한 사전 선형 제약 조건을 통합하여 편향 보정이 이루어진 수정된 추정량을 도출한다.
• 정규화된 모델 하에서 요인과 적재량 추정치의 점근적 분포를 유도하여 표준 오차와 가설 검정을 가능하게 한다.
• 백과 영(2002)의 결정론적 페널티와 데이터 기반 항을 조합한 새로운 요인 선택 기준을 제안한다.

실험 결과

연구 질문

• RQ1 릿지 회귀를 통한 특이값 임계처리는 대규모 요인 모델에서 공통 요인 성분의 추정치를 더 효율적이고 강건하게 만들 수 있는가?
• RQ2 정규화가 요인 추정의 편향-분산 트레이드오프에 어떤 영향을 미치며, 어떤 조건에서 정규화된 추정량이 더 효율적인가?
• RQ3 약한 요인 또는 높은 측정 노이즈가 존재할 경우, 요인 선택을 향상시키는 데이터 기반 페널티를 구성할 수 있는가?
• RQ4 일반 선형 제약 조건을 정규화된 요인 모델에 통합하면서 추론의 타당성을 유지할 수 있는가?
• RQ5 정규화된 요인과 적재량 추정치의 점근적 분포는 무엇이며, 이를 어떻게 가설 검정에 활용할 수 있는가?

주요 결과

• 정규화된 요인 추정치는 편향을 가질 수 있지만, 진짜 질량이 낮을 경우 표준 주성분보다 더 낮은 평균제곱오차를 달성할 수 있다.
• 제안된 요인 선택을 위한 데이터 기반 페널티는 기존 기준보다 더 보수적이며, 약한 요인이나 노이즈로 인한 과대평가를 줄인다.
• 요인과 적재량 추정량의 점근적 정규분포가 확립되었으며, 일관된 분산 추정량을 통해 표준 오차와 가설 검정이 가능하다.
• 정규화된 추정량의 편향은 특이값의 압축에서 기인하며, 정규화 파라미터와 모집단 특이값에 대해 명시적으로 기술된다.
• 일반 선형 제약 조건을 통한 경제적 가설 검증이 가능하며, 제약 조건이 없는 모델과 질량 제약 조건이 있는 모델 모두에서 점근적 분포가 도출되었다.
• 이 프레임워크는 파rametric 가정 하에서 수렴 속도에 대한 이론적 보장을 제공하는 특이값 임계처리를 통한 데이터 행렬의 낮은 질량 분해를 지원한다.