[논문 리뷰] Robust PCA and subspace tracking from incomplete observations using L0-surrogates

Clemens Hage, Martin Kleinsteuber|arXiv (Cornell University)|2012. 10. 02.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 볼록 리 릿지 근사 대신 비볼록 ℓ₀-대체 함수를 사용하여 완전하지 못하고 오염된 데이터에 대한 강건한 PCA 및 부분공간 추적 방법을 제안한다. 기하학적 다양체 위에서 내재된 공액 기울기 방법을 사용하여 최적화를 수행함으로써, 최신 기술에 비해 더 높은 질량의 행렬과 더 많은 이상치를 처리하는 데 뛰어난 성능을 발휘한다. 특히 누락된 데이터와 희박한 오염 상황에서 유의미한 성능 향상을 보인다.

ABSTRACT

Many applications in data analysis rely on the decomposition of a data matrix into a low-rank and a sparse component. Existing methods that tackle this task use the nuclear norm and L1-cost functions as convex relaxations of the rank constraint and the sparsity measure, respectively, or employ thresholding techniques. We propose a method that allows for reconstructing and tracking a subspace of upper-bounded dimension from incomplete and corrupted observations. It does not require any a priori information about the number of outliers. The core of our algorithm is an intrinsic Conjugate Gradient method on the set of orthogonal projection matrices, the so-called Grassmannian. Non-convex sparsity measures are used for outlier detection, which leads to improved performance in terms of robustly recovering and tracking the low-rank matrix. In particular, our approach can cope with more outliers and with an underlying matrix of higher rank than other state-of-the-art methods.

연구 동기 및 목표

• 높은 질량 또는 흔한 이상치 조건에서 기존의 볼록 리 릿지 근사가 실패하는 경우, 완전하지 못하고 희박하게 오염된 관측치로부터 저질량 행렬 복원 문제를 해결한다.
• 이상치의 수나 기저 부분공간의 질량에 대한 사전 지식이 필요로 하지 않는 방법을 개발한다.
• 스트리밍 형태의 완전하지 못하고 오염된 데이터로부터 시간에 따라 변화하는 부분공간을 강건하고 정확하게 추적할 수 있도록 한다.
• 볼록 리 릿지 근사(예: 핵 노름, ℓ₁)의 한계를 극복하기 위해 비볼록 ℓ₀-대체 함수를 사용하여 희박성 및 질량 제어를 수행한다.
• Grassmannian 다양체 위에서 내재된 리emannian 최적화 방법을 통해 계산 효율성과 확장성을 확보한다.

제안 방법

• 완전하지 못한 관측치로부터 저질량 및 희박한 행렬 분해 문제를 정식화하며, ℓ₁ 대신 ℓ₀-대체 함수를 사용해 희박성을 모델링한다.
• 고정된 차원의 부분공간 다양체인 Grassmannian 다양체 위에서 최적화를 수행하여 질량에 대한 상한을 내재적으로 유지하면서 사전에 고정하지 않는다.
• 비볼록 최적화 문제를 효율적으로 해결하기 위해 Grassmannian 위에서 내재된 공액 기울기 방법을 구현한다.
• 직교성을 유지하고 계산 비용을 줄이기 위해 재접속 기반 업데이트를 사용하여 대규모 문제에 대한 확장성을 확보한다.
• 시간에 따라 변화하는 부분공간을 실시간으로 추적하기 위해 온라인 업데이트를 통한 점진적 부분공간 추적을 적용한다.
• ℓ₀-대체 함수에 부드럽게 조정하는 데 사용되는 매개변수 μ를 도입하여 부드러운 최적화와 стрict한 희박성 강제 간의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 비볼록 ℓ₀-대체 함수가 완전하지 못하고 희박하게 오염된 데이터로부터 저질량 행렬을 복원하는 데 볼록 리 릿지 근사인 ℓ₁보다 뛰어난 성능을 보일 수 있는가?
• RQ2 Grassmannian 다양체 위에서의 최적화가 질량에 대한 내재된 상한을 가지며 강건하고 확장 가능한 부분공간 복원을 가능하게 하는가?
• RQ3 이상치의 수에 대한 사전 지식 없이도, 누락된 데이터와 무거운 이상치 상황에서 시간에 따라 변화하는 부분공간을 추적할 수 있는가?
• RQ4 ℓ₀-대체 함수의 부드러움 매개변수 μ의 선택이 전경 검출에서 부분공간 적응 속도와 유령 이미지 억제 사이의 균형에 어떻게 영향을 주는가?
• RQ5 고질량 및 고이상치 조건에서 IALM, GRASTA, GoDec와 같은 최신 기술에 비해 정확성과 강건성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 IALM, GRASTA, SpaRCS에 비해 특히 고질량 및 고이상치 조건에서 뛰어난 복원 성능을 보였다.
• 평균 실행 시간이 3~3.7초로, SpaRCS(6.1초)와 GRASTA(11초)를 능가했지만, 이상치의 수를 사전에 알 필요가 없는 GoDec(1.5초)에 비해 느리다.
• 실제 영상 데이터(예: 라이브러리 데이터셋의 조명 변화)에서 부분공간 변화를 성공적으로 추적했으며, 배경 이동 후 몇 프레임 내에 적응하였다.
• 부드러움 매개변수 μ의 값이 낮을수록(예: 0.01) 더 선명한 전경 분할이 이루어지고 유령 이미지가 줄어들어 잔여 아티팩트 억제가 효과적으로 이루어짐을 입증했다.
• 완전하지 못한 관측치와 가우시안 노이즈가 첨가된 상황에서도 높은 정확도를 유지했으며, 볼록 대체 방법에 비해 강건성과 유연성이 뛰어나다.
• 라이브러리 데이터셋에서의 실험 결과, 저질량 근사가 안정적이고 정확했으며, 희박한 잔차는 움직이는 전경 객체를 효과적으로 분리했다.