[논문 리뷰] Nearly Optimal Robust Subspace Tracking and Dynamic Robust PCA

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|2017. 12. 17.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 2

한 줄 요약

이 논문은 약화된 RPCA 가정 하에 near-optimal 추적 지연 $O(r \log n \log(1/\epsilon))$ 와 메모리 복잡도를 달성하면서도, 느린 부분공간 변화와 유한한 이상치 크기에 대한 추가 가정을 통해 이상치에 대한 내성 향상을 이룬 강력한 부분공간 추적(RST)을 위한 재귀적 투영 압축 센싱 알고리즘인 ReProCS-NORST를 제안한다.

ABSTRACT

In this work, we study the robust subspace tracking (RST) problem and obtain one of the first two provable guarantees for it. The goal of RST is to track sequentially arriving data vectors that lie in a slowly changing low-dimensional subspace, while being robust to corruption by additive sparse outliers. It can also be interpreted as a dynamic (time-varying) extension of robust PCA (RPCA), with the minor difference that RST also requires a short tracking delay. We develop a recursive projected compressive sensing algorithm that we call Nearly Optimal RST via ReProCS (ReProCS-NORST) because its tracking delay is nearly optimal. We prove that NORST solves both the RST and the dynamic RPCA problems under weakened standard RPCA assumptions, two simple extra assumptions (slow subspace change and most outlier magnitudes lower bounded), and a few minor assumptions. Our guarantee shows that NORST enjoys a near optimal tracking delay of $O(r \log n \log(1/\epsilon))$. Its required delay between subspace change times is the same, and its memory complexity is $n$ times this value. Thus both these are also nearly optimal. Here $n$ is the ambient space dimension, $r$ is the subspaces' dimension, and $\epsilon$ is the tracking accuracy. NORST also has the best outlier tolerance compared with all previous RPCA or RST methods, both theoretically and empirically (including for real videos), without requiring any model on how the outlier support is generated. This is possible because of the extra assumptions it uses.

연구 동기 및 목표

• 현실적인 가정 하에 증명 가능한 보장을 갖춘 강력한 부분공간 추적(RST) 문제를 해결하기 위해.
• 최소한의 추적 지연을 동반한 동적이고 시간에 따라 변화하는 부분공간으로 강력한 주성분 분석(RPCA)을 확장하기 위해.
• 높은 이상치 내성과 함께 부분공간 추적에서 near-optimal 지연과 메모리 복잡도를 달성하기 위해.
• 이상치 지원 생성에 대한 가정 없이도 흩어진 임의의 이상치에 강건한 방법을 개발하기 위해.
• 약한 및 자연스러운 조건 하에서 RST 및 동적 RPCA에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 저차원 구조를 갖는 순차적 데이터에 특화된 재귀적 투영 압축 센싱 알고리즘인 ReProCS-NORST를 제안한다.
• 측정값을 동적으로 갱신되는 저차원 부분공간에 투영하는 재귀적 추정 프레임워크를 사용한다.
• 각 시간 단계에서 잔차 신호로부터 흩어진 이상치를 복구하기 위해 압축 센싱 원리를 통합한다.
• 시간적 연속성과 부분공간 유지 특성을 활용하여 거의 최적의 추적 지연을 확보한다.
• 안정적인 복구를 보장하기 위해 느린 부분공간 변화와 이하한 이상치 크기의 가정에 기반한다.
• 메모리 복잡도를 $n \cdot O(r \log n \log(1/\epsilon))$ 비례로 유지하며, 이는 거의 최적이다.

실험 결과

연구 질문

• RQ1 강력한 부분공간 추적 알고리즘이 높은 이상치 내성과 함께 거의 최적의 추적 지연을 달성할 수 있는가?
• RQ2 느린 부분공간 변화와 유한한 이상치 크기의 가정이 동적 환경에서 복구 성능에 어떤 영향을 미치는가?
• RQ3 희박한 오염 하에서 시간에 따라 변화하는 부분공간의 안정적이고 정확한 추적에 필요한 최소 지연은 얼마인가?
• RQ4 이상치 지원 모델링 없이도 기존 RPCA 및 RST 기법들보다 이론적·실험적으로 성능을 뛰어넘을 수 있는가?
• RQ5 이러한 방법의 메모리 복잡도는 얼마이며, 거의 최적인가?

주요 결과

• ReProCS-NORST는 $O(r \log n \log(1/\epsilon))$ 의 추적 지연을 달성하며, 이는 RST 문제에 대해 거의 최적이다.
• 메모리 복잡도는 추적 지연의 $n$ 배이며, 주어진 가정 하에 역시 거의 최적이다.
• 약화된 표준 RPCA 가정 하에서 강력한 부분공간 추적과 동적 RPCA에 대한 증명 가능한 보장을 제공한다.
• 이론적·실험적으로 기존의 RPCA 및 RST 방법들 중에서 가장 뛰어난 이상치 내성을 확보하며, 이상치 지원 생성 모델이 필요하지 않다.
• 느린 부분공간 변화와 이하한 이상치 크기 하에서 알고리즘이 안정성과 정확성을 유지하며, 실제 영상 데이터에서도 강력한 성능을 발휘한다.
• 이론적 프레임워크는 느린 부분공간 변화와 이하한 이상치 크기의 조합이 거의 최적의 성능을 가능하게 한다고 규명한다.