[논문 리뷰] Principal Component Analysis with Contaminated Data: The High Dimensional Case

Huan Xu, Constantine Caramanis외 1명|arXiv (Cornell University)|2010. 02. 24.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 31

한 줄 요약

이 논문은 고차원 데이터에서 임의로 손상된 관측치가 존재하는 상황에서도 낮은 차원의 부분공간을 안정적으로 복원할 수 있도록 설계된, 계산이 용이하고 반복적인 알고리즘인 고차원 복원형 주성분 분석(HR-PCA)을 제안한다. 이 알고리즘은 표준 주성분 분석과 고분산 점들을 무작위로 제거하는 절차를 번갈아 적용하며, 기존 방법들과 달리 50%의 붕괴점(breakdown point)을 달성한다. 또한 부패하는 비율이 0에 수렴할 때 점근적으로 최적의 성능을 보인다.

ABSTRACT

We consider the dimensionality-reduction problem (finding a subspace approximation of observed data) for contaminated data in the high dimensional regime, where the number of observations is of the same magnitude as the number of variables of each observation, and the data set contains some (arbitrarily) corrupted observations. We propose a High-dimensional Robust Principal Component Analysis (HR-PCA) algorithm that is tractable, robust to contaminated points, and easily kernelizable. The resulting subspace has a bounded deviation from the desired one, achieves maximal robustness -- a breakdown point of 50% while all existing algorithms have a breakdown point of zero, and unlike ordinary PCA algorithms, achieves optimality in the limit case where the proportion of corrupted points goes to zero.

연구 동기 및 목표

• 관측치 수가 변수 수와 유사하거나 그보다 작은 고차원 데이터에서의 차원 축소 문제를 다루기.
• 특히 신호 대 잡음비(SNR)가 낮거나 점점 감소할 때, 기존 주성분 분석이 취약한 점을 극복하기.
• 기존 복원형 주성분 분석 방법이 실패하는 고차원 환경에서도 안정성과 통계적 일致성을 유지하면서 계산이 용이하고 다항식 시간 내에 수행 가능한 알고리즘 개발.
• 최대의 복원성—즉, 50%의 붕괴점—을 확보하면서도, 부패 비율이 점차 줄어들 때 점근적으로 최적의 성능을 달성하기.
• 비선형 고차원 특징 공간에서의 차원 축소를 위해 쉽게 커널화할 수 있도록 보장하기.

제안 방법

• 각 반복 단계에서 현재 데이터 세트에 표준 주성분 분석을 적용하여 주성분을 계산한다.
• 주요 고유공간에 기여도가 높은 고분산 점들—즉, 이상치일 가능성이 높은 점들—을 식별하고, 이를 무작위로 제거한다.
• 주성분 분석과 무작위 제거 단계를 반복적으로 반복하여 후보 부분공간을 생성한다.
• 모든 반복 과정에서 생성된 후보 부분공간 중에서 복원 오차 기준에 따라 최적의 부분공간을 선택한다.
• 확률적 분석을 활용하여, 높은 확률로 후보 부분공간 중 하나가 진짜 기저 부분공간에 가까워질 수 있음을 보여준다.
• 무작위 제거를 통해 결정론적 편향을 방지하고, 악성 손상에 의한 성능 저하를 방지함으로써 복원성을 확보한다.

실험 결과

연구 질문

• RQ1 n ≈ p 또는 n < p 인 고차원 환경에서 복원형 주성분 분석을 계산이 용이하고 효과적으로 구현할 수 있는가?
• RQ2 임의로 손상된 점의 최대 비율은 얼마일 수 있으며, 여전히 진짜 부분공간을 회복할 수 있는가?
• RQ3 낮은 SNR와 제한된 표본 수를 가진 고차원 환경에서 기존 복원형 주성분 분석 알고리즘의 성능은 어떻게 저하되는가?
• RQ4 주성분 분석과 무작위 제거를 조합한 단순한 반복 절차가 복원성과 점근적 최적성을 동시에 달성할 수 있는가?
• RQ5 오염된 고차원 데이터에서 통계적 일致성과 계산 효율성을 유지하면서도 커널화 가능한 복원형 주성분 분석 알고리즘을 설계할 수 있는가?

주요 결과

• HR-PCA는 50%의 붕괴점을 확보하며, 이는 이전에 제안된 복원형 주성분 분석 알고리즘들이 0인 것과 대비해 최대이자 유일무이한 성능이다.
• 알고리즘은 점근적으로 최적이다: 부패한 점들의 비율이 0에 수렴할수록 HR-PCA는 정확히 진짜 낮은 차원의 부분공간을 복원한다.
• d=1과 d=3의 시뮬레이션에서 HR-PCA는 ROBPCA, PP, PCA를 모두 능가하며, 특히 신호 크기가 작거나 차원이 높을 경우 두드러진 성능을 보인다.
• ROBPCA와 PP는 차원이 증가함에 따라 성능이 급격히 악화되는데, 이는 Stahel-Donoho 이상도 측정에 실패하기 때문이다. 이로 인해 특정 차원 이하에서는 기능을 잃게 된다.
• MVT 기반 방법은 n = m일 때 조건이 나쁜 공분산 행렬로 인해 붕괴되며, 붕괴점이 1/m 비례로 감소하므로 고차원 데이터에는 부적합하다.
• HR-PCA는 λ = 40%의 부패율 조건에서도 안정적인 성능을 유지하여 극단적인 오염 상황에서도 강력한 복원성을 입증한다.