[논문 리뷰] Solving Principal Component Pursuit in Linear Time via $l_1$ Filtering

Risheng Liu, Zhouchen Lin외 2명|arXiv (Cornell University)|2011. 08. 26.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 28

한 줄 요약

이 논문은 $l_1$ 필터링을 제안하며, 이는 데이터 행렬 크기 $m \times n$와 낮은 질량 $r$에 대해 선형 시간 $O(r^2(m+n))$ 내에 주성분 추적(PCP) 문제를 정확히 해결하는 새로운 알고리즘이다. 시드 행렬과 행 및 열에 대한 $l_1$-노름 필터링을 활용함으로써 전체 행렬에 대한 고비용의 SVD를 피하고, 대규모 컴퓨터 비전 작업에서 저질량 및 희박 성분을 효율적이고 매우 병렬화 가능한 방식으로 복원할 수 있다.

ABSTRACT

In the past decades, exactly recovering the intrinsic data structure from corrupted observations, which is known as robust principal component analysis (RPCA), has attracted tremendous interests and found many applications in computer vision. Recently, this problem has been formulated as recovering a low-rank component and a sparse component from the observed data matrix. It is proved that under some suitable conditions, this problem can be exactly solved by principal component pursuit (PCP), i.e., minimizing a combination of nuclear norm and $l_1$ norm. Most of the existing methods for solving PCP require singular value decompositions (SVD) of the data matrix, resulting in a high computational complexity, hence preventing the applications of RPCA to very large scale computer vision problems. In this paper, we propose a novel algorithm, called $l_1$ filtering, for \emph{exactly} solving PCP with an $O(r^2(m+n))$ complexity, where $m imes n$ is the size of data matrix and $r$ is the rank of the matrix to recover, which is supposed to be much smaller than $m$ and $n$. Moreover, $l_1$ filtering is \emph{highly parallelizable}. It is the first algorithm that can \emph{exactly} solve a nuclear norm minimization problem in \emph{linear time} (with respect to the data size). Experiments on both synthetic data and real applications testify to the great advantage of $l_1$ filtering in speed over state-of-the-art algorithms.

연구 동기 및 목표

• 데이터 크기에 따라 제곱적으로 증가하는 특이값 분해(SVD)에 의존하는 기존 RPCA 방법의 계산 병목 현상을 해결하기 위해.
• 표준 SVD 기반 방법이 비현실적인 매우 대규모 데이터 행렬에서 저질량 및 희박 성분의 정확한 복원을 가능하게 하기 위해.
• 데이터 크기와 선형 시간 복잡도를 가지는 방법을 개발하여, 컴퓨터 비전에서 흔한 거대 데이터 세트에 대한 강력한 PCA 적용 가능성을 확보하기 위해.
• 현대 컴퓨팅 아키텍처를 활용해 대규모 구현에서 추가적인 속도 향상을 위한 높은 병렬성 확보를 위해.
• 정확도를 희생시키지 않고도 표준 PCP 조건 하에서 이론적으로 근거가 있는 정확한 해를 제공하기 위해.

제안 방법

• 관측된 데이터 행렬 $\mathbf{M}$ 로부터 난수로 선택된 부분 행렬(시드 행렬)을 선택하여 저질량 성분 $\mathbf{L}_0$ 를 추정한다.
• 시드 행렬의 특이값 분해(SVD)를 사용하여 저질량 근사치를 추출하고, 이를 향후 필터링의 기초로 삼는다.
• 시드 행렬이 생성한 부분공간으로부터의 $l_1$ 거리 최소화를 통해 행 및 열 부분행렬($\mathbf{L}^c$ 및 $\mathbf{L}^r$)을 복원하기 위해 $l_1$-노름 필터링을 적용한다.
• 일반화된 Nyström 방법을 사용하여 시드 행렬, 열 부분행렬, 행 부분행렬을 조합함으로써 전체 저질량 행렬을 재구성한다.
• 에러 성분의 희박성을 촉진하기 위해 $l_1$ 최소화를 사용하여 필터링 단계를 볼록 최적화 문제로 공식화한다.
• 원본 데이터 행렬에 대한 전체 SVD를 피함으로써 선형 시간 복잡도 $O(r^2(m+n))$을 달성하고 데이터 크기에 대해 선형 시간 복잡도를 확보한다.

실험 결과

연구 질문

• RQ1 데이터 크기에 대해 선형 시간 복잡도로 PCP 문제를 해결할 수 있는 강력한 PCA 알고리즘을 설계할 수 있는가?
• RQ2 $l_1$ 필터링이 전체 데이터 행렬에 대한 SVD를 수행하지 않고도 저질량 및 희박 성분을 효과적으로 복원할 수 있는가?
• RQ3 제안된 방법이 대규모 데이터에서 상당한 속도 향상을 달성하면서도 PCP의 정확한 복원 보장을 유지하는가?
• RQ4 실제 영상 데이터에서 S-PCP 및 RSL과 같은 최첨단 방법과 비교해 $l_1$ 필터링의 정확도와 속도는 어떻게 되는가?
• RQ5 대규모 행렬에서 계산을 추가로 가속화하기 위해 알고리즘을 효과적으로 병렬화할 수 있는가?

주요 결과

• $l_1$ 필터링 알고리즘은 데이터 크기에 대해 선형 시간 복잡도 $O(r^2(m+n))$를 달성하여, 데이터 크기에 대해 선형 시간 내에 핵심 노름 최소화를 정확히 해결하는 최초의 방법이 되었다.
• ‘laboratory’ 영상 데이터셋($240 \times 320$, 887 프레임)에서 $l_1$ 필터링은 거짓 음성 비율(FNR) 8.62%와 거짓 양성 비율(FPR) 8.76%를 기록했으며, S-PCP와 동일한 정확도를 확보하면서도 훨씬 빠른 속도(48.99초 대비 10,897.96초)를 기록했다.
• ‘meeting’ 영상 데이터셋($576 \times 720$, 700 프레임)에서 $l_1$ 필터링은 178.74초 내로 완료되었으며, 수렴하지 못한 RSL을 능가했고, 중앙값 필터링과 유사한 속도를 기록했으며, 더 뛰어난 배경-전경 분離 성능을 보였다.
• 이 방법은 ‘meeting’ 시퀀스에서 저질량 배경과 희박한 전경을 성공적으로 복원했으며, 느리게 움직이는 물체로 인해 중앙값 필터링이 실패한 상황에서도 전반적인 구조 복원에 대해 강건함을 입증했다.
• 실험 결과 $l_1$ 필터링은 매우 병렬화 가능하여, 주로 메모리 용량을 초과하는 대규모 행렬에서도 효율적인 확장이 가능하다.
• 작은 내재 질량을 가진 매우 대규모 데이터 행렬에 적용하더라도 표준 PCP 조건 하에서 이론적 정확한 복원 보장을 유지한다.