[논문 리뷰] Thresholding based Efficient Outlier Robust PCA

Yeshwanth Cherapanamjeri, Prateek Jain외 1명|arXiv (Cornell University)|2017. 02. 18.

Sparse and Compressive Sensing Techniques참고 문헌 7인용 수 7

한 줄 요약

이 논문은 적대적 이상치에 대해 near-optimal한 저차원 부분공간 복원을 달성하는 임계값 기반 반복 알고리즘을 제안한다. 이 알고리즘은 데이터 크기에 대해 선형인 반복 복잡도를 가지며, 런타임이 표준 PCA와 거의 유사하다. 이는 투영 길이와 특이벡터 정렬에 대한 이중 임계값 기반 기법을 활용하여, 이상치의 노름이 내재된 특이값을 초월하는 경우에도 안정적으로 이상치를 탐지하고 제거할 수 있기에 기존 방법보다 뛰어나다.

ABSTRACT

We consider the problem of outlier robust PCA (OR-PCA) where the goal is to recover principal directions despite the presence of outlier data points. That is, given a data matrix $M^*$, where $(1-α)$ fraction of the points are noisy samples from a low-dimensional subspace while $α$ fraction of the points can be arbitrary outliers, the goal is to recover the subspace accurately. Existing results for \OR-PCA have serious drawbacks: while some results are quite weak in the presence of noise, other results have runtime quadratic in dimension, rendering them impractical for large scale applications. In this work, we provide a novel thresholding based iterative algorithm with per-iteration complexity at most linear in the data size. Moreover, the fraction of outliers, $α$, that our method can handle is tight up to constants while providing nearly optimal computational complexity for a general noise setting. For the special case where the inliers are obtained from a low-dimensional subspace with additive Gaussian noise, we show that a modification of our thresholding based method leads to significant improvement in recovery error (of the subspace) even in the presence of a large fraction of outliers.

연구 동기 및 목표

• 기존 이상치 내성 PCA 방법의 한계를 해결한다. 이는 높은 계산 비용 또는 노이즈와 적대적 오염 하에서의 낮은 성능을 수반한다.
• 높은 비율의 이상치(최대 $O(1/r)$의 데이터 포인트)를 처리하면서도 정확도를 유지하면서도 저비용 계산 복잡도를 유지하는 효율적인 알고리즘을 개발한다.
• 이상치 존재 시 표준 SVD의 취약성을 극복하기 위해, 오염의 열 희박성과 내재된 추정치의 반복적 정밀화를 활용한다.
• 이상치의 노름이 주요 성분을 왜곡할 수 있는 상황에서 안정성을 확보하기 위해, 추정된 특이벡터 기반의 투영 기반 이상치 탐지 기법을 사용한다.
• 비일관성 가정 하에, 노이즈가 존재하고 고차원인 환경에서도 진짜 주요 부분공간의 거의 최적의 복원을 달성한다.

제안 방법

• 두 가지 임계값 연산자(잔차 투영 길이 기반 및 추정된 주요 방향과의 정렬 기반)를 사용해 이상치 집합을 추정하는 반복 알고리즘을 제안한다.
• 각 반복에서 의심스러운 이상치를 제거한 후 데이터 행렬에 대해 트렁케이티드 SVD를 적용하여 주요 부분공간 추정치를 갱신한다.
• 새로운 이중 임계값 전략을 적용한다: 첫째, 추정된 주요 성분에 대한 투영 길이가 큰 점들을 식별하여 잠재적 이상치로 간주하고, 둘째, 수직 투영을 사용해 현재 부분공간과 정렬되지 않은 이상치를 탐지한다.
• 하나의 저차원 타원체 위로의 투영 연산자의 볼록 relaxation을 유지하여 부분공간 추정 과정에서 수렴성과 안정성을 확보한다.
• KKT 조건과 목적 함수의 단조성에 기반한 수렴 보장을 확보하기 위해, 이분법 유사 방법을 사용해 투영 하위문제를 효율적으로 해결한다.
• 비일관성 가정(가정 1)을 활용하여 내재된 점들이 주요 성분에 지나치게 영향을 주지 않도록 하여 신뢰할 수 있는 이상치 탐지가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 계산 복잡도가 표준 PCA와 유사한 동시에 일정 비율의 적대적 이상치를 견딜 수 있는 이상치 내성 PCA 알고리즘을 설계할 수 있는가?
• RQ2 이상치의 노름이 내재된 점보다 큰 경우, 길이 기반 임계값 기법이 효과가 없을 때 이상치를 효과적으로 탐지할 수 있는 방법은 무엇인가?
• RQ3 추정된 주요 방향이 이상치에 의해 왜곡된 상황에서도 안정적인 이상치 탐지가 가능한 임계값 전략은 무엇인가?
• RQ4 희박한 오염이 존재하는 일반적인 노이즈 모델 하에서, 진짜 주요 부분공간의 거의 최적의 복원을 달성할 수 있는가?
• RQ5 계산 효율성이 높은 PCA 알고리즘의 이상치 내성에 대한 이론적 한계는 무엇이며, 실용적인 방법으로 이를 접근할 수 있는가?

주요 결과

• 제안된 알고리즘은 기저 부분공간의 질서 수준이 $r$일 때, 이상치 비율 $α$가 $O(1/r)$ 이하인 조건 하에 진짜 주요 부분공간 $U^*$의 거의 최적의 복원을 달성한다.
• 이 방법은 표준 PCA와 거의 동일한 런타임을 가지며, 반복 복잡도가 데이터 포인트 수에 대해 선형이므로, $O(nd^2)$ 또는 $O(n^2d)$ 방법보다 크게 향상된다.
• 내재된 점이 가우시안 노이즈를 추가로 가지는 특수 케이스에 대해, 알고리즘의 수정된 버전은 이전 방법보다 훨씬 낮은 부분공간 복원 오차를 달성한다.
• 투영 하위문제를 위한 이분법 기반 솔버를 사용함으로써, 알고리즘이 $O(\log(1/\epsilon))$ 반복 내에 진짜 투영 연산자 $\mathcal{P}_{\mathcal{E}}(x)$의 $\epsilon$-정확도 해에 수렴한다.
• 실험 결과는 이중 임계값 메커니즘(추정된 특이벡터와의 정렬 및 투영 길이 기반)이 이상치의 노름이 지배하는 경우에도 안정적인 이상치 탐지가 가능함을 보여준다.
• 이론적 분석은 비일관성 가정 하에서 안정성과 수렴성이 유지됨을 확인하여, 반복 과정에서 내재된 점들이 잘못 제거되지 않음을 보장한다.