[논문 리뷰] Robust high dimensional factor models with applications to statistical machine learning

Jianqing Fan, Kaizheng Wang외 2명|arXiv (Cornell University)|2018. 08. 12.

Sparse and Compressive Sensing Techniques참고 문헌 89인용 수 12

한 줄 요약

이 논문은 주성분 분석(PCA)과 고도로 발전된 통계 기법을 융합하여 고차원 데이터에서 발생하는 고차원성, 무거운 尾(heavy-tailed) 분포, 강한 의존성 등의 과제를 해결하는 강건한 고차원 인자 모델을 소개한다. 매트릭스 펌핑 이론, 강건 통계, 무작위 투영 기법을 활용하여 저자들은 인자 조정 강건 모델 선택(FarmSelect)과 인자 조정 강건 다중 검정(FarmTest)을 개발하였으며, 비정규성 및 이질적인 데이터 조건에서도 향상된 추론 및 추정 정확도를 달성한다.

ABSTRACT

Factor models are a class of powerful statistical models that have been widely used to deal with dependent measurements that arise frequently from various applications from genomics and neuroscience to economics and finance. As data are collected at an ever-growing scale, statistical machine learning faces some new challenges: high dimensionality, strong dependence among observed variables, heavy-tailed variables and heterogeneity. High-dimensional robust factor analysis serves as a powerful toolkit to conquer these challenges. This paper gives a selective overview on recent advance on high-dimensional factor models and their applications to statistics including Factor-Adjusted Robust Model selection (FarmSelect) and Factor-Adjusted Robust Multiple testing (FarmTest). We show that classical methods, especially principal component analysis (PCA), can be tailored to many new problems and provide powerful tools for statistical estimation and inference. We highlight PCA and its connections to matrix perturbation theory, robust statistics, random projection, false discovery rate, etc., and illustrate through several applications how insights from these fields yield solutions to modern challenges. We also present far-reaching connections between factor models and popular statistical learning problems, including network analysis and low-rank matrix recovery.

연구 동기 및 목표

• 현대 대규모 데이터 응용에서 발생하는 고차원성, 강한 의존성, 중량 꼬리 분포, 이질성 등의 과제를 해결하기 위해.
• 비정규성 및 의존적인 데이터 구조 조건에서도 효과적으로 유지되는 강건한 통계적 추론 및 추정 방법을 개발하기 위해.
• 매트릭스 펌핑 이론과 강건 통계를 활용하여 고차원 환경에서의 고전적 PCA 및 인자 모델링을 이론적 보장과 함께 확장하기 위해.
• 고차원 및 비타원형 데이터 조건에서 모델 선택 및 다중 검정에 대한 인자 조정의 통합 프레임워크를 제공하기 위해.
• 저랭크 매트릭스 복원 및 네트워크 분석과 같은 광범위한 통계 학습 문제와 인자 모델 간의 연결 고리를 설정하기 위해.

제안 방법

• 표본 공분산 매트릭스의 상위 K 고유공간을 활용하여 고차원 데이터의 저랭크 인자 구조를 추정하기 위해 주성분 분석(PCA)을 사용한다.
• 매트릭스 펌핑 이론을 적용하여 모델 오Specification 및 노이즈 조건 하에서 인자 및 로딩 추정 오차의 경계를 유도한다.
• 강건 통계를 통합하여 중량 꼬리 및 비정규 오차 항을 처리하고, 고차원 추론에서의 안정성을 확보한다.
• 대규모 환경에서 통계 정확도를 유지하면서 계산 복잡도를 감소시키기 위해 무작위 투영 기법을 활용한다.
• 잠재 인자를 조정하는 강건한 확장 기법으로서 FarmSelect 및 FarmTest를 제안하여 가짜 발견률 제어 성능을 향상시킨다.
• 이론적 근거를 제공하기 위해 확장 기법과 대칭 매트릭스 구성 기법을 사용하여 고유값 및 고유벡터 펌핑 경계를 유도한다.

실험 결과

연구 질문

• RQ1 PCA는 어떻게 고차원성, 의존성, 중량 꼬리 분포를 가진 데이터에서 신뢰할 수 있는 추정 및 추론을 제공할 수 있는가?
• RQ2 비정규성 및 이질적인 오차 구조 조건 하에서 인자 및 로딩 추정 오차의 이론적 경계는 무엇인가?
• RQ3 어떻게 인자 조정이 고차원 환경에서의 모델 선택 및 다중 검정 성능을 향상시킬 수 있는가?
• RQ4 요인 모델은 통계 기계학습에서 저랭크 매트릭스 복원 및 네트워크 분석과 어떤 방식으로 연결되는가?
• RQ5 매트릭스 펌핑 이론은 모델 불확실성 하에서 인자 추정의 강건성 및 일致성 확보에 어떤 역할을 하는가?

주요 결과

• 근사 인자 모델 조건 하에서 표본 공분산 매트릭스의 상위-K 고유공간은 로딩 매트릭스 B의 열공간과 잘 일치하며, 이는 PCA를 통한 일致 추정을 가능하게 한다.
• FarmSelect 및 FarmTest를 통한 강건 추정은 오차가 중량 꼬리 또는 의존적인 경우에도 가짜 발견률 제어 및 모델 선택 정확도 향상을 달성한다.
• 확장 기법과 스펙트럼 분석을 활용하여 고유벡터 펌핑 경계를 이론적으로 도출하였으며, 이로써 추정 오차는 노이즈 수준과 고유값 갭에 비례함을 보였다.
• 신호 강도 및 노이즈 수준에 따라 오차율이 결정되는 고차원 점근적 조건 하에서 인자 로딩 및 공통 인자를 일관되게 추정할 수 있다.
• 요인 모델과 저랭크 매트릭스 복원 간의 연결 고리를 정식화하였으며, 이는 요인 모델이 강건한 저랭크 근사의 특수한 경우로 간주될 수 있음을 보여준다.
• 실증 결과는 잡음 성분 간 상관관계 또는 중량 꼬리 특성이 있는 경우 인자 조정이 고차원 회귀 및 다중 검정에서 추론 성능을 크게 향상시킴을 보여준다.