[논문 리뷰] New Results for Provable Dynamic Robust PCA.

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|2017. 05. 24.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 단순-ReProCS를 소개하며, 희박한 이상치 하에서 천천히 시간에 따라 변화하는 저차원 부분공간을 추적하는 새로운 온라인 알고리즘을 제안한다. 이는 더 약한 가정—천천히 변화하는 부분공간과 이상치의 최소 크기—하에 처음으로 증명 가능한 보장을 제공하며, 향상된 이상치 내성, 거의 최적의 메모리 사용, 빠른 온라인 처리를 달성한다.

ABSTRACT

Dynamic robust PCA refers to the dynamic (time-varying) extension of robust PCA (RPCA). It assumes that the true (uncorrupted) data lies in a low-dimensional subspace that can change with time, albeit slowly. The goal is to track this changing subspace over time in the presence of sparse outliers. We develop and study a novel algorithm, that we call simple-ReProCS, based on the recently introduced Recursive Projected Compressive Sensing (ReProCS) framework. Our work provides the first guarantee for dynamic RPCA that holds under weakened versions of standard RPCA assumptions, slow subspace change and a lower bound assumption on most outlier magnitudes. Our result is significant because (i) it removes the strong assumptions needed by the two previous complete guarantees for ReProCS-based algorithms; (ii) it shows that it is possible to achieve significantly improved outlier tolerance, compared with all existing RPCA or dynamic RPCA solutions by exploiting the above two simple extra assumptions; and (iii) it proves that simple-ReProCS is online (after initialization), fast, and, has near-optimal memory complexity.

연구 동기 및 목표

• 이전의 ReProCS 기반 알고리즘들이 증명 가능한 동적 RPCA를 위해 강력하고 비현실적인 가정이 필요로 했던 한계를 해결하기 위해.
• 데이터가 희박한 이상치에 의해 오염된 시간에 따라 변화하는 환경에서의 강력한 부분공간 추적을 가능하게 하기 위해.
• 강한 비일관성이나 정확한 희박성과 같은 RPCA에서 흔히 요구되는 제약 조건에 의존도를 줄이고, 이론적 보장을 유지하기 위해.
• 단순-ReProCS가 초기화 이후 거의 최적의 메모리 복잡도와 온라인 처리를 달성할 수 있음을 보여주기 위해.
• 천천히 변화하는 부분공간과 이상치의 최소 크기 조건을 활용할 경우, 기존 방법보다 훨씬 향상된 이상치 내성 확보가 가능한지 확인하기 위해.

제안 방법

• 동적 환경에서 저차원 부분공간을 온라인으로 재귀적으로 추정하기 위해 설계된 ReProCS 프레임워크 기반의 새로운 알고리즘인 단순-ReProCS를 제안한다.
• 재귀적 투영과 압축 감지 원리를 활용하여 시간에 따라 부분공간을 점진적으로 추정하고 갱신한다.
• 강건성 향상과 더 강력한 이론적 보장을 가능하게 하기 위해 이상치 크기에 하한을 두는 것을 핵심 가정으로 삼는다.
• 부분공간 변화가 천천히 일어나도록 가정하여 부분공간이 점진적으로 변화함으로써 안정적인 추적을 보장한다.
• 두 단계 복구 과정을 사용한다: 먼저 희박한 이상치 성분을 추정하고, 그 다음 추정된 저차원 부분공간에 투영하여 정밀도를 높인다.
• 각 시간 단계에서 부분공간과 이상치 추정치에 필요한 요소만 유지함으로써 거의 최적의 메모리 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 기존 ReProCS 기반 알고리즘에서 요구하는 가정보다 더 약한 조건 하에 동적 강력한 PCA를 증명 가능하게 해결할 수 있는가?
• RQ2 부분공간 변화가 느리고 이상치 크기에 하한이 있음을 가정할 경우, 동적 RPCA의 이상치 내성은 얼마나 향상될 수 있는가?
• RQ3 이론적 보장을 유지하면서도 온라인, 빠르고 메모리 효율적인 동적 RPCA 알고리즘을 설계할 수 있는가?
• RQ4 천천히 변화하는 부분공간과 이상치 크기 하한의 조합이 기존 RPCA의 가정보다 더 강력한 복구 보장을 가능하게 하는가?
• RQ5 단순-ReProCS는 더 제약이 적은 가정을 요구하면서도 기존 솔루션과 비교해 성능이 유사하거나 뛰어나게 달성할 수 있는가?

주요 결과

• 단순-ReProCS는 천천히 변화하는 부분공간과 대부분의 이상치 크기에 하한이 있음을 가정할 경우, 동적 강력한 PCA에 대해 처음으로 증명 가능한 보장을 달성한다.
• 이중 추가 가정인 천천히 변화하는 부분공간과 이상치 크기 하한을 활용함으로써, 모든 기존 RPCA 및 동적 RPCA 솔루션보다 훨씬 향상된 이상치 내성을 보여준다.
• 초기화 이후 단순-ReProCS는 온라인으로 작동하여 낮은 계산 및 메모리 오버헤드로 실시간 처리가 가능하다.
• 부분공간과 이상치 추정에 필요한 구성 요소만 각 시간 단계에서 유지함으로써 거의 최적의 메모리 복잡도를 달성한다.
• 이론적 분석을 통해 부분공간이 점진적으로 변화함에도 불구하고 알고리즘이 안정적이고 정확하게 유지됨을 확인하였다.
• 결과적으로 두 가지 가정인 천천히 변화하는 부분공간과 이상치 크기 하한은 강한 비일관성이나 정확한 희박성이 필요 없이 더 강력한 복구 보장을 가능하게 한다.