[논문 리뷰] Fast Estimation of the Median Covariation Matrix with Application to Online Robust Principal Components Analysis

Hervé Cardot, Antoine Godichon‐Baggioni|arXiv (Cornell University)|2015. 04. 11.

Advanced Statistical Methods and Models참고 문헌 39인용 수 21

한 줄 요약

이 논문은 중앙분포의 50% 붕괴점을 지닌 강건한 다변량 산란 측도인 중앙분산공분산행렬(MCM)의 빠른 추정을 위한 재귀적이고 온라인 알고리즘을 제안한다. 확률적 경사하강법과 평균화 기법을 적응적으로 적용함으로써, 고차원이고 오염된 데이터에서 실시간으로 메모리 효율적인 주성분 분석을 가능하게 하며, 이론적 수렴 보장과 함께 시뮬레이션 및 대규모 텔레비전 시청자 데이터셋에서 최소공분산행렬과 투영추적 기반 방법보다 뛰어난 성능을 보였다.

ABSTRACT

The geometric median covariation matrix is a robust multivariate indicator of dispersion which can be extended without any difficulty to functional data. We define estimators, based on recursive algorithms, that can be simply updated at each new observation and are able to deal rapidly with large samples of high dimensional data without being obliged to store all the data in memory. Asymptotic convergence properties of the recursive algorithms are studied under weak conditions. The computation of the principal components can also be performed online and this approach can be useful for online outlier detection. A simulation study clearly shows that this robust indicator is a competitive alternative to minimum covariance determinant when the dimension of the data is small and robust principal components analysis based on projection pursuit and spherical projections for high dimension data. An illustration on a large sample and high dimensional dataset consisting of individual TV audiences measured at a minute scale over a period of 24 hours confirms the interest of considering the robust principal components analysis based on the median covariation matrix. All studied algorithms are available in the R package Gmedian on CRAN.

연구 동기 및 목표

• 고차원, 대용량 표본 설정에서 중앙분산공분산행렬(MCM)을 효율적으로 추정하기 위한 재귀적 알고리즘을 개발하는 것.
• 모든 데이터를 저장하지 않고도 온라인으로, 메모리 효율적인 주성분 분석을 가능하게 하는 것.
• MCM의 50% 붕괴점과 유한한 총감도 특성을 활용하여 고차원 데이터에서 이상치에 강건한 성능을 향상시키는 것.
• 약한 모멘트 조건 하에서 재귀적 MCM 및 중앙값 추정기의 이론적 수렴 결과를 제공하는 것.
• 시뮬레이션과 실제 고차원 데이터에서 기존의 강건한 PCA 방법들과의 경쟁력을 입증하는 것.

제안 방법

• Cardot 등(2013)의 확률적 경사하강법을 고차원 행렬의 힐베르트 공간에서 기하학적 중앙값과 MCM을 재귀적으로 추정하도록 응용한다.
• Polyak-Ruppert 평균화 기법을 도입하여 재귀적 MCM 추정기의 수렴성과 정확도를 향상시킨다.
• 확률적 경사하강 갱신을 수정하여 매 단계에서 MCM 추정기가 비음이 아닌 정의행렬을 유지하도록 보장한다.
• 매 관측치마다 전체 스펙트럼 분해를 수행하지 않고도 강건한 주성분을 계산하기 위한 온라인 고유분해 갱신 전략을 개발한다.
• 소규모 데이터에 대한 기준선으로 Weiszfeld 알고리즘을 활용하고, 확장성을 고려해 재귀적 형태로 변형한다.
• 감쇠하는 단계 크기를 갖는 이중 시간 척도 확률적 근사 프레임워크를 사용하여 거의 확실 수렴성과 이차평균 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 모든 관측치를 저장하지 않고도 고차원 데이터에서 중앙분산공분산행렬(MCM)을 효율적으로 추정할 수 있는 재귀적이고 온라인 알고리즘을 개발할 수 있는가?
• RQ2 유한 표본 성능에서 재귀적 MCM 추정기는 최소공분산행렬과 투영추적 기반 강건 PCA와 비교해 어떻게 성능을 내는가?
• RQ3 힐베르트 공간에서 제안된 재귀적 MCM 및 중앙값 추정기의 이론적 수렴 속도와 일致성 성질은 무엇인가?
• RQ4 매 단계에서 전체 스펙트럼 분해를 다시 계산하지 않고도 MCM의 고유공간을 온라인으로 갱신할 수 있는가?
• RQ5 고차원이고 대규모 데이터셋에서 오염이 존재할 경우, MCM 기반 강건 PCA는 기존의 방법보다 주성분을 더 잘 탐지할 수 있는가?

주요 결과

• 약한 모멘트 조건 하에서 재귀적 MCM 추정기는 거의 확실 수렴성과 이차평균 수렴성을 확보하며, 이전 연구 대비 향상된 수렴 속도를 보였다.
• 평균화 단계는 재귀적 MCM 추정기의 정확도를 크게 향상시켜 표본 수가 유한할 경우의 편향과 분산을 감소시켰다.
• 제안된 방법은 전체 재계산 없이도 주성분을 점진적으로 갱신하는 온라인 강건 PCA를 실현하며, 메모리 효율성을 확보한다.
• 시뮬레이션 결과, MCM 기반 PCA는 저차원 데이터에서는 최소공분산행렬과 경쟁 가능했고, 고차원 설정에서는 그를 능가하는 성능을 보였다.
• 24시간 분별 TV 시청자 데이터에 대한 실제 응용에서, MCM 기반 접근법은 오염과 고차원성에도 불구하고 강건한 주성분을 성공적으로 추출하였다.
• 모든 알고리즘은 R 패키지 Gmedian을 통해 CRAN에 공개되어 있으며, 재현성과 실용적 구현을 지원한다.