[논문 리뷰] Accelerated Alternating Projections for Robust Principal Component Analysis

HanQin Cai, Jian‐Feng Cai외 1명|arXiv (Cornell University)|2017. 11. 15.

Sparse and Compressive Sensing Techniques인용 수 12

한 줄 요약

이 논문은 강건한 주성분 분석(PCA)을 위한 새로운 알고리즘인 가속화된 교차 투영(AccAltProj)을 제안한다. 이 알고리즘은 절단 특이값 분해(Truncated SVD) 이전에 저차원 부분공간에 투영하여 수렴 속도를 가속화한다. 비산만성과 흩어진 성분 가정 하에 선형 수렴 속도를 확보하고 정확한 복원 보장을 받으며, 계산 효율성과 경험적 성능 면에서 최신 기법들을 능가한다.

ABSTRACT

We study robust PCA for the fully observed setting, which is about separating a low rank matrix $\boldsymbol{L}$ and a sparse matrix $\boldsymbol{S}$ from their sum $\boldsymbol{D}=\boldsymbol{L}+\boldsymbol{S}$. In this paper, a new algorithm, dubbed accelerated alternating projections, is introduced for robust PCA which significantly improves the computational efficiency of the existing alternating projections proposed in [Netrapalli, Praneeth, et al., 2014] when updating the low rank factor. The acceleration is achieved by first projecting a matrix onto some low dimensional subspace before obtaining a new estimate of the low rank matrix via truncated SVD. Exact recovery guarantee has been established which shows linear convergence of the proposed algorithm. Empirical performance evaluations establish the advantage of our algorithm over other state-of-the-art algorithms for robust PCA.

연구 동기 및 목표

• 비볼록인 저질서 + 흩어진 행렬 분해 문제를 직접 해결하는 더 빠르고 효율적인 강건한 PCA 알고리즘을 개발한다.
• 절단 특이값 분해 이전에 부분공간 투영 단계를 도입하여 교차 투영의 계산 효율성을 향상시킨다.
• 저질서 및 흩어진 행렬의 구조에 대한 표준 가정 하에 제안된 알고리즘의 이론적 복원 보장을 수립한다.
• 강건한 PCA 분야에서 최신 기법들과 비교해 뛰어난 경험적 성능을 보여준다.

제안 방법

• 현재 반복값을 절단 특이값 분해로 저질서 요소를 갱신하기 전에 저차원 부분공간에 투영하는 새로운 가속화 단계를 도입한다.
• 저질서 및 흩어진 제약 조건 사이를 번갈아가며 투영하며, 주요 혁신은 특이값 분해 비용을 줄이기 위한 부분공간 투영을 포함한다.
• 잔차 행렬에 대해 임계값 처리 단계를 사용하여 흩어진 성분을 효율적으로 갱신한다.
• 비산만성 조건(A1)과 흩어진 성분 조건(A2)을 사용하여 이론적 복원 조건을 유도한다.
• 특이값 감쇠와 변동 분석을 활용하여 스펙트럼 노름과 무한대 노름을 통해 저질서 추정치의 오차에 대한 경계를 유도한다.
• 고정된 흩어진 성분 모델과 비산만성 조건 하에서 알고리즘의 선형 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 강건한 PCA를 위한 교차 투영의 계산 비용을 정확도를 희생시키지 않고 크게 줄일 수 있는가?
• RQ2 제안된 가속화 알고리즘에서 저질서 및 흩어진 성분의 정확한 복원을 보장하는 이론적 조건은 무엇인가?
• RQ3 부분공간 투영 단계는 알고리즘의 수렴 속도와 수치적 안정성에 어떤 영향을 미치는가?
• RQ4 흩어진 성분의 희소 수준과 제안된 프레임워크에서의 복원 성공 여부 사이의 관계는 무엇인가?
• RQ5 기존 방법들과 비교해 더 빠른 반복 성능을 달성하면서도 선형 수렴을 유지할 수 있는가?

주요 결과

• 제안된 AccAltProj 알고리즘은 표준 비산만성 및 희소성 가정 하에 선형 수렴을 달성하며, 흩어진 행렬이 충분히 흩어져 있을 경우 정확한 복원이 보장된다.
• 절단 특이값 분해 이전에 저차원 부분공간에 투영함으로써 반복당 계산 비용을 줄여 수렴 속도를 크게 향상시킨다.
• 경험적 평가 결과, AccAltProj는 강건한 PCA 과제에서 다른 최신 기법들보다 빠르고 정확한 성능을 보였다.
• 이론적 분석을 통해 저질서 추정치의 오차가 $ \frac{\mu r}{4n}\sigma_1^L $ 이하로 경계됨을 입증하여 안정적인 복원을 보장한다.
• 고정된 희소성 모델 하에서 흩어진 성분의 정확한 지원 복원을 유지하며, $ \text{supp}(\bm{S}_0) \subset \Omega $ 를 만족한다. 여기서 $ \Omega $ 는 진짜 지원 집합이다.
• 스펙트럼 노름과 무한대 노름 부등식을 사용하여 오차 항의 이론적 경계를 도출하였으며, 이는 제어된 변동 하에서 알고리즘이 수렴함을 보여준다.