[논문 리뷰] RES-PCA: A Scalable Approach to Recovering Low-rank Matrices

Chong Peng, Chenglizhao Chen외 3명|arXiv (Cornell University)|2019. 04. 16.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 특이값 분해(SVD)를 계산하지 않고도 낮은 질량의 행렬을 복원할 수 있는 확장 가능한 강건한 주성분 분석(RPCA) 방법인 RES-PCA를 제안한다. 이 방법은 데이터 내의 군집 구조 정보를 활용하여 데이터 크기와 차원 모두에서 선형 계산 복잡도를 달성한다. 기존의 최고 수준의 방법들인 AltProj과 비교해도 속도와 확장성 면에서 뛰어나며, 특히 진정한 질량이 알려져 있지 않은 경우에 유의미한 성능 향상을 보이며, 실제 데이터셋에서 낮은 질량 복원, 그림자 제거, 이상 탐지 등 다양한 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Robust principal component analysis (RPCA) has drawn significant attentions due to its powerful capability in recovering low-rank matrices as well as successful appplications in various real world problems. The current state-of-the-art algorithms usually need to solve singular value decomposition of large matrices, which generally has at least a quadratic or even cubic complexity. This drawback has limited the application of RPCA in solving real world problems. To combat this drawback, in this paper we propose a new type of RPCA method, RES-PCA, which is linearly efficient and scalable in both data size and dimension. For comparison purpose, AltProj, an existing scalable approach to RPCA requires the precise knowlwdge of the true rank; otherwise, it may fail to recover low-rank matrices. By contrast, our method works with or without knowing the true rank; even when both methods work, our method is faster. Extensive experiments have been performed and testified to the effectiveness of proposed method quantitatively and in visual quality, which suggests that our method is suitable to be employed as a light-weight, scalable component for RPCA in any application pipelines.

연구 동기 및 목표

• 기존 RPCA 방법들이 SVD에 의존하여 데이터 크기에 따라 제곱 또는 세제곱의 복잡도를 가지는 높은 계산 복잡도 문제를 해결하기 위해.
• 진정한 행렬 질량에 대한 사전 지식이 없더라도 효과적으로 작동하는 확장 가능하고 경량화된 RPCA 방법을 개발하기 위해.
• 낮은 질량 성분 내의 잠재적 군집 구조를 활용하여 SVD 기반 최적화를 대체함으로써 선형 시간 계산을 가능하게 하기 위해.
• 그림자 제거 및 이상 탐지와 같은 실세계 응용 분야에서의 성능을 평가하기 위해.

제안 방법

• RES-PCA는 SVD 계산에 의존하지 않고 낮은 질량 행렬과 희소 행렬의 분해로 RPCA를 공식화한다.
• 최적화를 위해 증강 라그랑주 방법(ALM)을 사용하여 각 반복 단계에서 행렬 분해를 피한다.
• 데이터 포인트 간 기하학적 및 군집 구조 유사성을 활용하여 낮은 질량 구조를 암묵적으로 모델링한다.
• 핵심 노름을 군집 기반 정규화로 대체하여 집단적인 낮은 질량 패턴을 포착한다.
• 알고리즘은 표본 수 $n$과 차원 $d$ 모두에서 선형 복잡도를 달성하여 대규모 데이터에 대한 확장성을 확보한다.
• AltProj과 마찬가지로 진정한 질량을 입력으로 필요로 하지 않으며, 이는 진정한 질량이 알려져 있지 않은 경우 AltProj가 실패하는 데 반해 RES-PCA는 성공함을 의미한다.

실험 결과

연구 질문

• RQ1 SVD 계산을 피하면서도 높은 복원 정확도를 유지할 수 있는 강건한 주성분 분석 방법을 설계할 수 있는가?
• RQ2 진정한 질량이 알려져 있지 않은 경우, RES-PCA는 AltProj과 같은 최고 수준의 방법과 비교해 어떻게 성능를 보이는가?
• RQ3 데이터 내의 군집 구조를 활용할 경우 낮은 질량 복원의 효율성과 확장성은 어느 정도 향상되는가?
• RQ4 RES-PCA는 선형 시간 복잡도를 확보하면서도 실세계 작업인 그림자 제거 및 이상 탐지에 효과적으로 대응할 수 있는가?

주요 결과

• RES-PCA는 데이터 차원 $d$와 표본 수 $n$ 모두에서 선형 시간 복잡도를 확보하였으며, 다양한 데이터셋에 대한 런타임 측정을 통해 경험적으로 확인되었다.
• AltProj이 진정한 질량를 알고 있음에도 불구하고 RES-PCA는 속도 면에서 승리하며, 진정한 질량가 알려져 있지 않은 경우 AltProj가 실패하는 상황에서도 성공한다.
• 얼굴 영상의 그림자 제거 작업에서 RES-PCA는 주제 1과 주제 2 양쪽 모두에서 그림자를 성공적으로 제거하였고, 다른 방법들은 주제 1에서는 실패하였다.
• USPS 숫자 데이터셋에서의 이상 탐지 작업에서 RES-PCA는 모든 '7'과 몇몇 비정상적인 '1'들을 이상치로 정확히 식별하였으며, 이는 희소 성분 $S$의 높은 $\ell_2$ 노름을 통해 확인되었다.
• 모든 실험에서 평균 반복 수는 23~25회였고, 수렴은 30회 이내에 달성되어 안정적이고 효율적인 최적화를 보였다.
• 시각적 및 정량적 결과를 통해 RES-PCA는 기존의 SVD 기반 RPCA 방법들에 비해 뛰어난 복원 품질과 확장성을 제공함을 확인하였다.