[논문 리뷰] Real-time Robust Principal Components' Pursuit

Chenlu Qiu, Namrata Vaswani|arXiv (Cornell University)|2010. 10. 04.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 10

한 줄 요약

이 논문은 시간적 상관관계를 활용하여 영상 감시에서 저질서수 배경과 흩어진 움직이는 물체를 효율적으로 분리하는 실시간 강건한 주성분 추적(RR-PCP)을 제안한다. 이 알고리즘은 i.i.d. 흩어진 이상치나 고정된 주성분을 필요로 하지 않는 실시간, 인과적 추정을 가능하게 하기 위해 압축 감지와 시간 상관 모델링을 활용한다.

ABSTRACT

In the recent work of Candes et al, the problem of recovering low rank matrix corrupted by i.i.d. sparse outliers is studied and a very elegant solution, principal component pursuit, is proposed. It is motivated as a tool for video surveillance applications with the background image sequence forming the low rank part and the moving objects/persons/abnormalities forming the sparse part. Each image frame is treated as a column vector of the data matrix made up of a low rank matrix and a sparse corruption matrix. Principal component pursuit solves the problem under the assumptions that the singular vectors of the low rank matrix are spread out and the sparsity pattern of the sparse matrix is uniformly random. However, in practice, usually the sparsity pattern and the signal values of the sparse part (moving persons/objects) change in a correlated fashion over time, for e.g., the object moves slowly and/or with roughly constant velocity. This will often result in a low rank sparse matrix. For video surveillance applications, it would be much more useful to have a real-time solution. In this work, we study the online version of the above problem and propose a solution that automatically handles correlated sparse outliers. The key idea of this work is as follows. Given an initial estimate of the principal directions of the low rank part, we causally keep estimating the sparse part at each time by solving a noisy compressive sensing type problem. The principal directions of the low rank part are updated every-so-often. In between two update times, if new Principal Components' directions appear, the "noise" seen by the Compressive Sensing step may increase. This problem is solved, in part, by utilizing the time correlation model of the low rank part. We call the proposed solution "Real-time Robust Principal Components' Pursuit".

연구 동기 및 목표

• 흩어진 이상치(예: 움직이는 물체)가 시간적으로 상관관계를 보일 때, 오프라인 주성분 추적(PCP)의 한계를 해결하기 위해 실시간 영상 감시 환경에서의 적용을 목표로 한다.
• 시간적 상관관계가 있는 움직임으로 인해 흩어진 성분이 i.i.d. 또는 균일하게 무작위가 아닐 경우 표준 PCP가 실패하는 문제를 해결한다. 이는 상관관계가 있는 움직임이 저질서수 흩어진 행렬을 생성하기 때문이다.
• 저질서수 부분공간 기저를 적응적으로 업데이트하면서 실시간으로 흩어진 성분을 인과적으로 추정하는 온라인 알고리즘을 개발한다.
• 시간 상관관계가 있는 흩어진 이상치와 서서히 변화하는 주성분을 고려한 강건한 성능을 확보한다. 이러한 상황은 실제 영상 시퀀스에서 흔히 발생한다.

제안 방법

• 저질서수 부분공간의 이전 추정치를 활용하여, 시간 $t$에서 흩어진 성분 $S_t$를 노이즈가 있는 압축 감지 공식을 통해 인과적으로 추정한다.
• 시간 상관관계가 있는 운동 모델을 흩어진 벡터 $S_t$에 적용하여, 지지(set)와 값이 천천히 변화하도록 하여 압축 감지 단계에서 노이즈를 감소시킨다.
• 저질서수 성분의 시간 불변 추정치인 주성분 기저 $U$를 유지하며, 부분공간 이격을 고려해 주기적으로 업데이트한다.
• 잔차 $\beta_t = \hat{P}_{t,\perp}^T L_t$를 모델링하고 이전 추정치 $f\hat{\beta}_{t-1}$를 예측치로 사용함으로써 압축 감지 단계에서 노이즈 제거 기법을 적용하여 효과적 노이즈를 감소시킨다.
• 운동 모델을 기반으로 한 지지(set) 업데이트 전략을 통합하여, 수정된-CS 기법을 활용해 향후 성능 향상을 가능하게 한다.
• 저질서수 성분의 기여도를 격리하기 위해 정규직교 투영 $\hat{P}_{t,\perp}$를 사용함으로써 강건한 흩어진 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 영상 감시에서 상관관계가 있는 흩어진 이상치가 존재할 경우, 강건한 주성분 분석을 인과적이고 실시간으로 유지하면서 정확도를 확보할 수 있는가?
• RQ2 움직이는 물체가 일정한 속도를 가지는 등 흩어진 성분의 시간적 상관관계를 어떻게 활용하여 복원 성능을 향상시킬 수 있는가?
• RQ3 비-i.i.d. 흩어진 이상치가 표준 주성분 추적(PCP)의 성능에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 완전한 재계산 없이 온라인 환경에서 주성분 기저를 어떻게 동적으로 업데이트할 수 있는가?
• RQ5 저질서수 성분에 대한 시간 상관 모델이 압축 감지에서 효과적 노이즈를 감소시켜 흩어진 복원 정확도를 향상시킬 수 있는가?

주요 결과

• 몬테카를로 시뮬레이션에서 RR-PCP는 PCP 및 기타 온라인 방법들(예: PJ, RR-PCP-basic)에 비해 훨씬 낮은 재구성 오차를 기록한다. 특히 상관관계가 있는 흩어진 이상치 상황에서 뚜렷한 성능 향상을 보인다.
• 노이즈 제거 버전의 RR-PCP는 시간 상관관계를 활용하여 압축 감지 단계에서 효과적 노이즈를 감소시켜 더 나은 흩어진 복원 성능을 달성한다.
• $t > t_0 + 26$일 때, 알고리즘은 새로운 주성분 기저를 성공적으로 탐지하고 $\|\beta_t\|_2^2$ 및 $\|\beta_t - f\hat{\beta}_{t-1}\|_2^2$ 둘 다 감소시켜 추정 성능 향상을 입증한다.
• RR-PCP는 프레임당 약 1.7초 내외로 실행되어 실시간 응용에 적합하며, 표준 PCP는 인과적 모드에서 프레임당 200~300초가 소요된다.
• 관찰된 움직임의 상관관계로 인해 흩어진 행렬 $S$가 저질서수를 띠는 경우(이 경우 표준 PCP가 실패하는 경우)에도 이 방법은 여전히 효과적이다.
• 미래에 운동 예측 지지 모델을 통합하면, 특히 큰 흩어진 지지(set)에 대해 재구성 오차를 추가로 감소시킬 수 있다.