[논문 리뷰] MEDRoP: Memory-Efficient Dynamic Robust PCA.

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|2017. 12. 17.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

MEDRoP은 희박한 이상치가 존재하는 상황에서도 천천히 변화하는 저질서 부분공간을 추적하는 메모리 효율적이고 온라인 알고리즘인 동적 강건 PCA를 위한 것이다. 이는 표준 RPCA의 가정을 완화한 조건 하에서 동적 RPCA에 대해 처음으로 증명 가능한 보장을 제공하며, 부분공간 추적에서 거의 최적에 가까운 지연을 달성하고, 이론적 최적성에 로그적 요소 범위 내에서 낮은 메모리 복잡도를 유지한다.

ABSTRACT

Robust PCA (RPCA) is the problem of separating a given data matrix into the sum of a sparse matrix and a low-rank matrix. The column span of the low-rank matrix gives the PCA solution. Dynamic RPCA is the time-varying extension of RPCA. It assumes that the true data vectors lie in a low-dimensional subspace that can change with time, albeit slowly. The goal is to track this changing subspace over time in the presence of sparse outliers. We propose an algorithm that we call Memory-Efficient Dynamic Robust PCA (MEDRoP). This relies on the recently studied recursive projected compressive sensing (ReProCS) framework for solving dynamic RPCA problems, however, the actual algorithm is significantly different from, and simpler than, previous ReProCS-based methods. The main contribution of this work is a theoretical guarantee that MEDRoP provably solves dynamic RPCA under weakened versions of standard RPCA assumptions, a mild assumption on slow subspace change, and two simple assumptions (a lower bound on most outlier magnitudes and mutual independence of the true data vectors). Our result is important because (i) it removes the strong assumptions needed by the three previous complete guarantees for ReProCS-based algorithms; (ii) it shows that, it is possible to achieve significantly improved outlier tolerance compared to static RPCA solutions by exploiting slow subspace change and a lower bound on most outlier magnitudes; (iii) it is able to track a changed subspace within a delay that is more than the subspace dimension by only logarithmic factors and thus is near-optimal; and (iv) it studies an algorithm that is online (after initialization), fast, and, memory-efficient (its memory complexity is within logarithmic factors of the optimal).

연구 동기 및 목표

• 고차원 데이터에서 희박한 이상치에 의해 오염된 시간에 따라 변화하는 저질서 부분공간을 추적하는 문제에 대응하기 위해.
• 이전의 ReProCS 기반 방법이 동적 RPCA에 대해 요구하는 강력한 가정을 줄이기 위해.
• 천천히 변화하는 부분공간과 이상치 크기의 하한을 활용하여 이상치에 대한 내성을 향상시키기 위해.
• 온라인이고 빠르며 메모리 효율적인 알고리즘을 설계하여 최소한의 저장소 오버헤드를 유지하기 위해.

제안 방법

• MEDRoP은 재귀적 투영 압축 센싱(ReProCS) 프레임워크를 활용하지만, 복잡도를 줄이기 위해 단순화된 알고리즘 구조를 도입한다.
• 새로운 데이터로 점진적으로 업데이트하는 재귀적 투영과 직교화를 통해 부분공간의 저질서 추정을 유지한다.
• 대부분의 이상치의 크기에 하한을 두어 노이즈와 작은 변동과 구분할 수 있도록 한다.
• 진짜 데이터 벡터의 상호 독립성을 가정하여 시간에 따라 안정적인 부분공간 추정을 보장한다.
• 이상치에 강건하면서도 천천히 변화하는 부분공간을 추적하기 위해 지연된 부분공간 업데이트 메커니즘을 통합한다.
• 이론적 최소값에 로그적 요소 범위 내에서 복잡도를 유지하기 위해 부분공간의 압축된 표현만 유지함으로써 메모리 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 이전의 ReProCS 기반 방법이 요구하는 것보다 훨씬 약한 가정 조건 하에서 동적 RPCA를 해결할 수 있는가?
• RQ2 천천히 변화하는 부분공간과 이상치 크기의 하한은 정적 RPCA에 비해 이상치 내성에 얼마나 기여하는가?
• RQ3 변경된 부분공간을 추적하기 위해 필요한 최소 지연은 얼마이며, 이는 이론적 최적에 로그적 요소 범위 내에서 달성 가능한가?
• RQ4 이론적 보장을 유지하면서 온라인이고 메모리 효율적인 동적 RPCA 알고리즘을 설계하는 것이 가능한가?

주요 결과

• MEDRoP은 표준 RPCA의 가정을 완화한 조건 하에서 동적 RPCA에 대해 처음으로 증명 가능한 보장을 제공하며, 부분공간 변화와 이상치 구조에 대한 제약 조건을 완화한 바탕을 제공한다.
• 천천히 변화하는 부분공간과 대부분의 이상치 크기 하한을 활용하여, 이상치 내성에 있어 뚜렷이 향상된 성능를 달성한다.
• 변경된 부분공간을 추적하는 데 소요되는 지연은 부분공간 차원에 대해 로그적 요소 범위 내에 있으며, 거의 최적에 가깝다.
• MEDRoP은 이론적 최소값에 로그적 요소 범위 내에서 메모리 복잡도를 유지하여 고차원 데이터에 대한 확장성을 확보한다.
• 초기화 이후 온라인으로 작동하며, 계산적으로 효율적이며 스트리밍 데이터를 위한 실시간 응용에 적합하다.
• 이론적 분석은 진짜 데이터 벡터의 상호 독립성과 이상치 크기의 하한이 안정적이고 정확한 부분공간 추적을 위해 충분하다는 것을 확인한다.