[논문 리뷰] Nearly Optimal Robust Subspace Tracking

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|2017. 12. 17.

Sparse and Compressive Sensing Techniques인용 수 15

한 줄 요약

이 논문은 거의 최적의 추적 지연 O(r log n log(1/ϵ)) 와 최적의 메모리 복잡도를 달성하는 강건한 부분공간 추적(RST)을 위한 재귀적 투영 압축 측정 알고리즘인 ReProCS-NORST를 제안한다. 느린 부분공간 변화와 낮추어진 이상치 크기의 두 가지 핵심 가정을 통해, 약화된 RPCA 가정 하에서 RST에 대해 처음으로 증명 가능한 보장을 제공하며, 이로 인해 이상치에 대한 내성도가 향상된다.

ABSTRACT

In this work, we study the robust subspace tracking (RST) problem and obtain one of the first two provable guarantees for it. The goal of RST is to track sequentially arriving data vectors that lie in a slowly changing low-dimensional subspace, while being robust to corruption by additive sparse outliers. It can also be interpreted as a dynamic (time-varying) extension of robust PCA (RPCA), with the minor difference that RST also requires a short tracking delay. We develop a recursive projected compressive sensing algorithm that we call Nearly Optimal RST via ReProCS (ReProCS-NORST) because its tracking delay is nearly optimal. We prove that NORST solves both the RST and the dynamic RPCA problems under weakened standard RPCA assumptions, two simple extra assumptions (slow subspace change and most outlier magnitudes lower bounded), and a few minor assumptions. Our guarantee shows that NORST enjoys a near optimal tracking delay of $O(r \log n \log(1/ε))$. Its required delay between subspace change times is the same, and its memory complexity is $n$ times this value. Thus both these are also nearly optimal. Here $n$ is the ambient space dimension, $r$ is the subspaces' dimension, and $ε$ is the tracking accuracy. NORST also has the best outlier tolerance compared with all previous RPCA or RST methods, both theoretically and empirically (including for real videos), without requiring any model on how the outlier support is generated. This is possible because of the extra assumptions it uses.

연구 동기 및 목표

• 희박하고 임의의 이상치가 존재하는 상황에서 느리게 변화하는 저차원 부분공간을 최소 지연으로 추적하는 문제를 해결하기 위해.
• 강건한 부분공간 추적을 위한 증명 가능한 거의 최적의 추적 지연과 메모리 복잡도를 달성하는 재귀 알고리즘을 개발하기 위해.
• 실시간 추정 요구 조건을 충족하는 동적이고 시간에 따라 변화하는 설정으로 강건한 주성분 분석(RPCA)을 확장하기 위해.
• 이상치 지원 생성에 대한 가정 없이도 이전의 RPCA 및 RST 방법보다 이상치 내성도를 향상시키기 위해.

제안 방법

• 실시간 강건한 부분공간 추적을 위해 설계된 재귀적 투영 압축 측정 알고리즘인 ReProCS-NORST를 제안한다.
• 과거 추정치와 압축 측정 원리를 활용하는 재귀적 업데이트 전략을 사용하여 저질서 및 희박 성분을 복구한다.
• 부분공간 간의 거리 측정을 위해 부분공간 오차 지표 SE(P1, P2) = ∥(I − P1P1′)P2∥ 를 사용한다.
• 추적 지연이 O(r log n log(1/ϵ))인 지연 모델을 도입하여 문제에 대해 거의 최적임을 보여준다.
• 복구를 보장하기 위해 두 가지 핵심 가정에 의존한다: 느린 부분공간 변화와 낮추어진 이상치 크기.
• 기저 행렬 표현과 직교 투영을 사용하여 시간에 따라 부분공간 추정치를 유지한다.

실험 결과

연구 질문

• RQ1 증명 가능한 거의 최적의 지연과 메모리 복잡도를 갖춘 강건한 부분공간 추적을 달성할 수 있는가?
• RQ2 ReProCS-NORST의 성능은 기존의 RPCA 및 RST 방법과 비교해 이상치 내성도와 복구 정확도 측면에서 어떻게 다른가?
• RQ3 동적이고 시간에 따라 변화하는 부분공간 추적에서 증명 가능한 복구를 달성하기 위해 필요한 가정은 무엇인가?
• RQ4 이 알고리즘은 복잡한 전경 역동성과 배경과의 색상 유사성을 갖는 실세계 영상 데이터를 처리할 수 있는가?
• RQ5 이상치 크기의 하한이 복구 성능에 어떤 영향을 미치는가?

주요 결과

• ReProCS-NORST는 O(r log n log(1/ϵ))의 추적 지연을 달성하며, 이는 문제에 대해 거의 최적이고 부분공간 변화 간의 필요 지연과 일치한다.
• 알고리즘은 n × 추적 지연과 동일한 최적의 메모리 복잡도를 달성하며, 이 역시 거의 최적이다.
• 느린 부분공간 변화와 낮추어진 이상치 크기의 두 가지 추가 가정을 포함해, 약화된 표준 RPCA 가정 하에서 강건한 부분공간 추적에 대해 처음으로 증명 가능한 보장을 제공한다.
• NORST는 AltProj 및 기타 RPCA 방법보다 이상치 내성도가 뛰어나며, 특히 이상치 크기가 0에서 멀리 떨어져 있을 경우 두드러진다.
• MR 및 라운지 데이터셋에서의 실세계 영상 실험에서 NORST는 각각 43 fps와 16 fps의 처리 속도를 기록했으며, 배경-전경 분離 성능이 뛰어나다.
• 수치적 결과는 NORST가 이상치 크기가 너무 작을 경우에만 실패함(예: xmin = 5)을 보여주며, 하한 가정의 필요성을 확인한다.