[논문 리뷰] Robust Covariance Estimation for Approximate Factor Models

Jianqing Fan, Weichen Wang외 1명|arXiv (Cornell University)|2016. 02. 01.

Statistical Methods and Inference참고 문헌 38인용 수 5

한 줄 요약

이 논문은 관측된 요인을 가진 근사 요인 모델에 대해 허브 손실 최소화를 통해 두꺼운 尾을 가진 데이터를 다룰 수 있는 강건한 공분산 추정 프레임워크를 제안한다. 만약 初기 공동공분산 추정기가 최적의 원소별 속도를 확보한다면, 최종 공분산 추정치는 서브-가우시안 및 4차 모멘트가 유한한 타원분포 조건 하에서도 유의미한 점근적 성질을 상속받는다.

ABSTRACT

In this paper, we study robust covariance estimation under the approximate factor model with observed factors. We propose a novel framework to first estimate the initial joint covariance matrix of the observed data and the factors, and then use it to recover the covariance matrix of the observed data. We prove that once the initial matrix estimator is good enough to maintain the element-wise optimal rate, the whole procedure will generate an estimated covariance with desired properties. For data with only bounded fourth moments, we propose to use Huber loss minimization to give the initial joint covariance estimation. This approach is applicable to a much wider range of distributions, including sub-Gaussian and elliptical distributions. We also present an asymptotic result for Huber's M-estimator with a diverging parameter. The conclusions are demonstrated by extensive simulations and real data analysis.

연구 동기 및 목표

• 데이터가 두꺼운 尾 또는 유한한 4차 모멘트만을 갖는 경우 근사 요인 모델에 대해 강건한 공분산 추정 방법을 개발하는 것.
• 기존 방법들이 서브-가우시안 또는 서브-지수적 尾을 가정한다는 한계를 해결하는 것.
• 관측 데이터와 요인의 공동공분산을 먼저 추정하고, 이후 관측 데이터의 공분산을 복원하는 두 단계 프레임워크를 제안하는 것.
• 약한 모멘트 조건 하에서 이론적 보장을 확보하여 더 넓은 분포 클래스로의 적용 가능성을 확장하는 것.
• 발산하는 파rameter를 가진 허브 M-추정기의 점근적 이론을 제공하여 고차원 설정에서의 강건성을 뒷받침하는 것.

제안 방법

• 두 단계 추정 프레임워크를 제안: 먼저 관측 데이터와 요인의 공동공분산 행렬을 추정하고, 이후 관측 데이터의 공분산 행렬을 복원한다.
• 허브 손실 최소화를 통해 초기 공동공분산 추정기를 구성하여 두꺼운 尾 분포 하에서도 강건성을 확보한다.
• 초기 추정기가 원소별 최적 속도를 확보한다면, 최종 공분산 추정치가 바람직한 통계적 성질을 상속받는다는 것을 입증한다.
• 4차 모멘트가 유한한 데이터에 프레임워크를 적용하여 서브-가우시안 및 타원분포에의 적용 가능성을 확보한다.
• 발산하는 파rameter 설정 하에서 허브 M-추정기의 점근적 정규성을 도출하여 고차원 및 두꺼운 尾 설정으로 고전 결과를 확장한다.
• 허브 손실 함수의 도함수 행동과 테일러 전개를 활용한 새로운 이론적 추론을 통해 수렴 분포를 증명한다.

실험 결과

연구 질문

• RQ1 데이터의 4차 모멘트만 유한할 경우 근사 요인 모델에서 강건한 공분산 추정이 가능할 수 있는가?
• RQ2 허브 손실 최소화는 관측 변수와 요인의 공동공분산에 대해 일致하고 점근적으로 정규적인 추정기를 제공하는가?
• RQ3 두 단계 추정 프레임워크가 최적 수렴 속도를 갖는 공분산 추정기를 생성하는 조건은 무엇인가?
• RQ4 두꺼운 尾 및 비서브-가우시안 분포 조건 하에서 허브 기반 추정기의 성능은 고전적 추정기와 비교해 어떻게 되는가?
• RQ5 조정 파rameter가 표본 크기와 함께 발산할 경우 허브 M-추정기의 점근적 분포는 무엇인가?

주요 결과

• 제안된 두 단계 프레임워크는 초기 공동공분산 추정기가 원소별 최적 속도를 확보한다면, 최종 공분산 추정치가 바람직한 통계적 성질을 상속받는다.
• 허브 손실 최소화는 서브-가우시안 및 4차 모멘트가 유한한 타원분포 조건 하에서도 잘 작동하는 강건한 초깃추정기를 제공한다.
• 조정 파rameter가 표본 크기와 함께 발산할 경우에도 허브 M-추정기의 점근적 정규성이 입증된다.
• 이론적 분석을 통해 허브 추정기는 파arametric 속도로 정규 분포로 수렴함을 확인하였으며, 이론적 분산은 기저 분포의 첨도에 따라 달라진다.
• 이 방법은 두꺼운 尾 오차에 대해 강건하며, 약한 모멘트 조건 하에서도 효율성을 유지한다.
• 광범위한 시뮬레이션과 실데이터 분석을 통해 이론적 강건성과 고전적 추정기 대비 뛰어난 유한표본 성능을 입증하였다.