[논문 리뷰] ReProCS: A Missing Link between Recursive Robust PCA and Recursive Sparse Recovery in Large but Correlated Noise

Chenlu Qiu, Namrata Vaswani|arXiv (Cornell University)|2011. 06. 16.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 37

한 줄 요약

이 논문은 움직이는 물체와 같은 상관관계가 있는 희박한 이상치를 관심 신호로 간주하는 재귀적 강건 PCA를 위한 ReProCS를 소개한다. 시간에 따라 변화하는 이상치 지지 집합의 상관관계를 칼만 필터 기반의 지지 예측을 통해 활용함으로써, 지지 예측을 통한 수정된 압축 측정 문제를 정의함으로써, 낮은 질서의 구조를 가진 큰 상관관계가 있는 노이즈 조건에서도 안정적이고 실시간으로 희박한 신호를 복원할 수 있다.

ABSTRACT

This work studies the recursive robust principal components' analysis (PCA) problem. Here, "robust" refers to robustness to both independent and correlated sparse outliers, although we focus on the latter. A key application where this problem occurs is in video surveillance where the goal is to separate a slowly changing background from moving foreground objects on-the-fly. The background sequence is well modeled as lying in a low dimensional subspace, that can gradually change over time, while the moving foreground objects constitute the correlated sparse outliers. In this and many other applications, the foreground is an outlier for PCA but is actually the "signal of interest" for the application; where as the background is the corruption or noise. Thus our problem can also be interpreted as one of recursively recovering a time sequence of sparse signals in the presence of large but spatially correlated noise. This work has two key contributions. First, we provide a new way of looking at this problem and show how a key part of our solution strategy involves solving a noisy compressive sensing (CS) problem. Second, we show how we can utilize the correlation of the outliers to our advantage in order to even deal with very large support sized outliers. The main idea is as follows. The correlation model applied to the previous support estimate helps predict the current support. This prediction serves as "partial support knowledge" for solving the modified-CS problem instead of CS. The support estimate of the modified-CS reconstruction is, in turn, used to update the correlation model parameters using a Kalman filter (or any adaptive filter). We call the resulting approach "support-predicted modified-CS".

연구 동기 및 목표

• 영상 감시 및 fMRI 분석에서 흔한 큰 크기의 시간적·공간적 상관관계가 있는 희박한 이상치가 존재하는 상황에서 재귀적 강건 PCA의 과제를 해결한다.
• 희박한 신호를 목표로 하고 낮은 질서의 성분을 배경 또는 노이즈로 간주할 때, 시간에 따라 변화하는 희박한 신호의 재귀적 복원 문제로 문제를 재정의한다.
• 희박한 이상치의 지지 집합 내 시간적 상관관계를 활용하여, 표준 압축 측정을 초월한 복원 성능 향상을 위한 방법을 개발한다.
• 동적 지지 예측과 적응형 필터링을 통합함으로써 오차가 유한한 안정적인 실시간 신호 복원을 가능하게 한다.
• 재귀적 강건 PCA와 상관관계가 있는 노이즈 조건 하에서 재귀적 희박한 신호 복원을 연결하는 이론적 및 알고리즘적 프레임워크를 제공한다.

제안 방법

• 희박한 이상치 벡터 $ S_t $ 를 시간에 따라 변화하는 지지 집합 $ T_t $ 를 가진 것으로 모델링하며, 지지 집합의 변화는 새로운 추가 성분($ \mathcal{A}_t $), 감쇠 성분($ \mathcal{D}_t $), 지속 성분($ \mathcal{E}_t $)을 포함하는 생성 모델로 기술된다.
• 희박한 신호 벡터 $ x_t $ 의 변화를 일계 자기상관모형(AR-1)으로 기술하며, $ x_t = F_t x_{t-1} + \nu_t $, $ \nu_t \sim \mathcal{N}(0, Q_t) $ 를 사용하여 시간적 상관관계를 반영한다.
• 지난 지지 집합 추정치를 현재 지지 집합에 대한 예측으로 사용하여, 지지 집합 상관관계 모델의 매개변수를 칼만 필터를 통해 재귀적으로 추정하고 업데이트한다.
• 칼만 필터에서 유도된 예측 지지를 부분 사전 지식으로 사용하는 수정된 압축 측정(수정된-CS) 문제를 정의함으로써 복원 정확도를 향상시킨다.
• 지속적으로 수집된 $ L_t = M_t - S_t $ 를 통해 배경 하위공간 $ \hat{P}_t $ 를 업데이트함으로써 지지 예측 기반 수정된-CS와 재귀적 낮은 질서의 하위공간 추정을 통합한다.
• 배경을 시간에 따라 변화하는 낮은 질서의 성분으로 표현하기 위해 낮은 질서 모델 $ L_t = U x_t $ 를 사용하며, 여기서 $ U $ 는 정규직교 행렬이고 $ x_t $ 는 천천히 변화하는 지지 집합을 가진 희박한 벡터이다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 희박한 이상치의 지지 집합 내 상관관계를 활용하여, 큰 상관관계가 있는 노이즈 조건에서 재귀적 희박한 신호 복원 성능을 향상시킬 수 있는가?
• RQ2 칼만 필터 기반의 지지 예측을 수정된 압축 측정 프레임워크에 통합하여 복원 정확도와 안정성을 향상시킬 수 있는가?
• RQ3 지지 예측 기반 수정된-CS 접근법이 재귀적 희박한 신호 복원에서 안정적이고 유한한 오차를 달성하는 조건은 무엇인가?
• RQ4 제안된 방법은 영상 감시에서 천천히 변화하는 배경과 움직이는 전경을 효과적으로 분리하면서 전경을 관심 신호로 간주할 수 있는가?
• RQ5 상관관계가 있는 희박한 이상치 모델 하에서 ReProCS의 성능은 표준 재귀적 강건 PCA 및 압축 측정 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 상관관계 모델 하에서 지지 예측 기반 수정된-CS 프레임워크는 시간에 따라 변화하지 않는 유한한 오차로 안정적인 희박한 신호 복원을 달성한다.
• 칼만 필터 기반의 지지 예측을 사용함으로써 표준 압축 측정 대비 복원 정확도가 크게 향상되며, 특히 이상치의 지지 집합이 시간에 따라 상관관계를 가지는 경우 두드러진다.
• 지지 집합의 시간적 상관관계를 활용함으로써, 이상치 지지 집합의 크기가 크더라도 실시간으로 재귀적 희박한 신호 복원이 가능하다.
• 모델은 지지 집합 변화가 군집적으로 발생함(매 $ d $ 프레임마다)하며, 새로운 성분이 추가되고 오래된 성분이 감쇠됨을 보여주며, 이는 실제 영상 및 fMRI 데이터의 동적 특성과 일치한다.
• 이론적 분석을 통해 신규 성분의 분산 $ (x_t)_{\mathcal{A}_{jd}} $ 가 짧은 시간 $ \Delta_d \ll d $ 내에 $ \Sigma_{\mathcal{A}_{jd}} $ 로 수렴함을 확인하여 안정적인 신호 성장이 보장됨을 입증한다.
• 감쇠 성분 $ \mathcal{D}_t $ 의 감쇠가 지수적으로 0에 수렴함을 입증하여, 짧은 일시적 기간 이후 감쇠 성분는 안전하게 忽시할 수 있음을 검증한다.