[논문 리뷰] Online (and Offline) Robust PCA: Novel Algorithms and Performance Guarantees

Jinchun Zhan, Brian Lois외 1명|arXiv (Cornell University)|2016. 01. 29.

Sparse and Compressive Sensing Techniques인용 수 29

한 줄 요약

이 논문은 재귀적 프로젝션 압축 센싱(ReProCS) 프레임워크에 기반한 새로운 온라인 로버스트 PCA 알고리즘을 제안하며, 스트리밍 데이터에서 저질서수(배경) 및 희소성(전경) 성분을 정확하고 실시간으로 분리할 수 있도록 한다. 약간의 가정 조건(정확한 초기 부분공간 지식, 천천간 부분공간 변화, 군집된 고유값 등) 하에 기존의 부분 결과들에 비해 크게 향상된, 온라인 RPCA에 대한 첫 완전한 성능 보장 결과를 제공한다.

ABSTRACT

In this work, we study the online robust principal components' analysis (RPCA) problem. In recent work, RPCA has been defined as a problem of separating a low-rank matrix (true data), $L$, and a sparse matrix (outliers), $S$, from their sum, $M:=L + S$. A more general version of this problem is to recover $L$ and $S$ from $M:=L + S + W$ where $W$ is the matrix of unstructured small noise/corruptions. An important application where this problem occurs is in video analytics in trying to separate sparse foregrounds (e.g., moving objects) from slowly changing backgrounds. While there has been a large amount of recent work on solutions and guarantees for the batch RPCA problem, the online problem is largely open."Online" RPCA is the problem of doing the above on-the-fly with the extra assumptions that the initial subspace is accurately known and that the subspace from which $l_t$ is generated changes slowly over time. We develop and study a novel "online" RPCA algorithm based on the recently introduced Recursive Projected Compressive Sensing (ReProCS) framework. Our algorithm improves upon the original ReProCS algorithm and it also returns even more accurate offline estimates. The key contribution of this work is a correctness result (complete performance guarantee) for this algorithm under reasonably mild assumptions. By using extra assumptions -- accurate initial subspace knowledge, slow subspace change, and clustered eigenvalues -- we are able to remove one important limitation of batch RPCA results and two key limitations of a recent result for ReProCS for online RPCA. To our knowledge, this work is among the first few correctness results for online RPCA. Most earlier results were only partial results, i.e., they required an assumption on intermediate algorithm estimates.

연구 동기 및 목표

• 실제적인 가정 조건 하에 증명 가능하고 정확한 온라인 로버스트 PCA의 열린 문제를 해결하기 위해.
• 기존 온라인 RPCA 방법에서 중간 알고리즘 추정치에 대한 가정이 필요로 하는 한계를 극복하기 위해.
• 정확한 온라인 추정치와 향상된 오프라인 재구성 결과를 동시에 제공하는 알고리즘을 개발하기 위해.
• ReProCS 프레임워크를 사용하여 부분공간 안정성과 고유값 분리 조건을 고려한, 온라인 RPCA에 대한 완전한 성능 보장을 수립하기 위해.

제안 방법

• 재귀적 부분공간 추정과 희소 성분 탐지 기반으로 ReProCS 프레임워크에 기반한 새로운 온라인 RPCA 알고리즘을 제안한다.
• 신규 데이터 도착에 따라 부분공간 추정치를 유지하고 갱신하기 위해 재귀적 투영 메커니즘을 사용한다.
• 잔차 신호와 구조적 노이즈 모델링을 활용하여 임계값 기반 방법으로 희소 이상치를 탐지하고 추정한다.
• 고유값 군집화와 행렬 페르터베이션 이론을 활용하여 새로운 부분공간 변화 탐지 메커니즘을 제안한다.
• 웨일의 부등식을 통한 행렬 페르터베이션에 대한 확률적 경계를 적용하여 노이즈 및 추정 오차에 대한 강건성을 확보한다.
• 부분공간 안정성과 고유값 분리 조건을 전제로 하여, 여러 레마와 정리를 통해 성능 보장을 도출한다.

실험 결과

연구 질문

• RQ1 정확한 초기 부분공간 지식과 천천간 부분공간 변화와 같은 현실적인 가정 조건 하에 증명 가능하고 정확한 온라인 RPCA 알고리즘을 설계할 수 있는가?
• RQ2 제안된 알고리즘이 기존 ReProCS 변종 대비 온라인 및 오프라인 추정 모두에서 더 높은 정확도를 달성하는가?
• RQ3 기존 연구에서 중간 알고리즘 추정치에 대한 가정이 필요로 하지 않는 조건에서 성능 보장을 수립할 수 있는가?
• RQ4 군집된 고유값과 구조적 노이즈 모델은 온라인 부분공간 추정의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ5 작은 비구조적 노이즈와 희소 오염 하에서 부분공간 추적 정확도의 이론적 한계는 무엇인가?

주요 결과

• 제안된 알고리즘은 정확한 초기 부분공간 지식, 천천간 부분공간 변화, 군집된 고유값 등의 약한 가정 하에 온라인 RPCA에 대해 완전한 성능 보장을 달성한다.
• 원래 ReProCS보다 더 정확한 오프라인 추정치를 제공하여, 모든 데이터 처리 후 재구성 정밀도가 향상된다.
• 이론적 분석 결과, 주어진 조건 하에서 정확한 부분공간 탐지 및 희소 성분 추정의 확률은 높은 신뢰수준인 $ p_{\text{det},1} $ 이하로 경계된다.
• 최종 정리에서 추정 오차의 $ \tilde{O}(1) $-노름 경계에 의해, 알고리즘은 부분공간 변화를 성공적으로 탐지하고 새로운 방향을 유한 오차 범위 내에서 추정한다.
• 기존 결과와 달리 중간 알고리즘 추정치에 대한 가정이 필요로 하지 않아도 성능 보장이 유지되므로, 완전한 정확성 결과로 간주된다.
• 고유값 분리, 행렬 페르터베이션 경계, 재귀적 부분공간 추정 정확도를 증명하는 레마의 연속을 통해 알고리즘의 정확성이 증명된다.