[논문 리뷰] Robust Principal Component Analysis?

Emmanuel J. Candès, Xiaodong Li외 2명|ArXiv.org|2009. 12. 18.

Sparse and Compressive Sensing Techniques인용 수 305

한 줄 요약

이 논문은 주로 저질서한 성분과 희박한 성분을 포함하는 행렬의 초합성에서 저질서 행렬과 희박 행렬을 정확히 복원할 수 있는 볼록 최적화 방법인 주성분 추적(Principal Component Pursuit)을 통한 강건한 주성분 분석(Robust PCA)을 제안한다. 이 방법은 핵 노름과 ℓ₁-노름의 가중 조합을 최소화하여 정확한 복원을 가능하게 한다. 주요 기여는 약간의 조건 하에 정확하고 확장 가능한 강건한 행렬 분해를 위한 증명 가능하고 확장 가능한 솔루션을 제공한다는 점이며, 이는 일정 비율의 요소가 임의로 손상된 경우에도 정확한 복원을 가능하게 한다.

ABSTRACT

This paper is about a curious phenomenon. Suppose we have a data matrix, which is the superposition of a low-rank component and a sparse component. Can we recover each component individually? We prove that under some suitable assumptions, it is possible to recover both the low-rank and the sparse components exactly by solving a very convenient convex program called Principal Component Pursuit; among all feasible decompositions, simply minimize a weighted combination of the nuclear norm and of the L1 norm. This suggests the possibility of a principled approach to robust principal component analysis since our methodology and results assert that one can recover the principal components of a data matrix even though a positive fraction of its entries are arbitrarily corrupted. This extends to the situation where a fraction of the entries are missing as well. We discuss an algorithm for solving this optimization problem, and present applications in the area of video surveillance, where our methodology allows for the detection of objects in a cluttered background, and in the area of face recognition, where it offers a principled way of removing shadows and specularities in images of faces.

연구 동기 및 목표

• 기존 주성분 분석(PCA)이 외곽선이나 누락 데이터 등의 거대한 오염에 취약한 문제를 해결하기 위해.
• 저질서 및 희박 성분의 구조와 크기가 모두 알려지지 않은 상황에서 확장 가능하고 증명 가능한 방법으로 데이터 행렬을 저질서 및 희박 성분으로 분해하기 위해.
• 고차원 데이터에서 임의의 오염이 존재하는 상황에서도 강건한 차원 축소와 주성분 추정을 가능하게 하기 위해.
• 배경 모델링과 외곽선 제거가 중요한 응용 분야인 영상 감시 및 얼굴 인식 등에 체계적인 프레임워크를 제공하기 위해.

제안 방법

• 저질서 행렬 L과 희박 행렬 S의 합성 M = L + S를 만족하는 볼록 최적화 문제로 행렬 분해 문제를 수립: λ‖L‖⁎ + ‖S‖₁를 최소화한다.
• 핵 노름 최소화(‖L‖⁎)를 통해 저질서 성분을 유도하고, ℓ₁-노름 최소화(‖S‖₁)를 통해 희박성을 유도한다.
• 이중성과 난수 행렬 이론을 활용해 L의 질서와 S의 희박성에 대한 약한 가정 하에 정확한 복원을 증명한다.
• 저질서 및 희박 성분이 충분히 비일관성 있고, 손상된 요소의 수가 행렬 크기 대비 작을 경우, 볼록 프로그램의 해가 두 성분을 정확히 복원함을 입증한다.
• 실제로 효율적으로 최적화 문제를 해결하기 위해 교차 방향 승수법(ADMM) 알고리즘을 설계한다.
• 확률론적 추론과 커버링 추론을 사용해 연산자 노름을 유계로 유지하고, 높은 확률로 복원 보장을 확보한다.

실험 결과

연구 질문

• RQ1 희박 성분이 매우 큰 값을 가지며 지지 집합이 알려지지 않은 경우, 그 초합성에서 저질서 행렬과 희박 행렬을 정확히 복원할 수 있는가?
• RQ2 질서와 희박성에 대한 약한 가정 하에 두 성분을 증명 가능하게 복원할 수 있는 볼록 최적화 방법이 존재하는가?
• RQ3 일정 비율의 요소가 오염된 경우에도 제안된 방법이 여전히 정확한 복원을 달성할 수 있는가?
• RQ4 누락된 데이터가 존재하는 상황에서 이 방법은 어떻게 작동하며, 거대한 오염이 있는 행렬 완성 문제로 확장 가능한가?
• RQ5 핵 노름과 ℓ₁-노름 최소화가 함께 진짜 성분을 정확히 복원할 수 있는 이론적 조건은 무엇인가?

주요 결과

• 약한 비일관성과 희박성 가정 하에, 주성분 추적을 통한 정확한 복원이 높은 확률로 가능하다는 것을 논문이 증명한다.
• 행렬 크기가 n×n일 경우, 손상된 요소의 수가 O(n^{1.5}/log n) 이하이면, 질서가 작고 희박 성분이 충분히 희박할 경우 정확한 복원이 보장된다.
• 핵 노름 최소화는 저질서 성분을 유도하고, ℓ₁-노름 최소화는 희박성을 유도하며, 이들의 조합이 정확한 분해를 가능하게 한다.
• 이 복원은 거대한 오염에 강건하다: 일정 비율의 요소가 임의로 손상되어도 여전히 진짜 성분을 복원할 수 있다.
• 희박 성분의 샘플링 비율이 충분히 낮고, 저질서 성분이 표준 기저와 비일관성이 있을 경우, 알고리즘이 높은 확률로 정확한 복원을 달성한다.
• 영상 감시 및 얼굴 인식 분야에서의 수치 실험 결과, 이 방법은 배경(저질서)과 움직이는 물체(희박)를 성공적으로 분리하고, 그림자와 반사광까지 제거하는 데 성공했다.