[논문 리뷰] Robust PCA via Outlier Pursuit

Huan Xu, Constantine Caramanis외 1명|arXiv (Cornell University)|2010. 10. 20.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 205

한 줄 요약

이 논문은 Outlier Pursuit를 제안하며, 이는 낮은 질서의 행렬의 열공간을 정확히 복원하고, 임의로 설정된 수많은 오염된 열(이상치)을 식별할 수 있는 볼록 최적화 방법이다. 이 방법은 핵노름 최소화와 $\ell_{1,2}$-노름 정규화를 사용하여, 약한 비일관성 조건과 이상치 비율 조건 하에서 낮은 질서의 구조를 공동으로 복원하고 이상치를 탐지한다.

ABSTRACT

Singular Value Decomposition (and Principal Component Analysis) is one of the most widely used techniques for dimensionality reduction: successful and efficiently computable, it is nevertheless plagued by a well-known, well-documented sensitivity to outliers. Recent work has considered the setting where each point has a few arbitrarily corrupted components. Yet, in applications of SVD or PCA such as robust collaborative filtering or bioinformatics, malicious agents, defective genes, or simply corrupted or contaminated experiments may effectively yield entire points that are completely corrupted. We present an efficient convex optimization-based algorithm we call Outlier Pursuit, that under some mild assumptions on the uncorrupted points (satisfied, e.g., by the standard generative assumption in PCA problems) recovers the exact optimal low-dimensional subspace, and identifies the corrupted points. Such identification of corrupted points that do not conform to the low-dimensional approximation, is of paramount interest in bioinformatics and financial applications, and beyond. Our techniques involve matrix decomposition using nuclear norm minimization, however, our results, setup, and approach, necessarily differ considerably from the existing line of work in matrix completion and matrix decomposition, since we develop an approach to recover the correct column space of the uncorrupted matrix, rather than the exact matrix itself. In any problem where one seeks to recover a structure rather than the exact initial matrices, techniques developed thus far relying on certificates of optimality, will fail. We present an important extension of these methods, that allows the treatment of such problems.

연구 동기 및 목표

• 표준 PCA가 임의의 완전히 오염된 데이터 포인트(이상치)를 다루는 데에 한계를 보이며, 낮은 질서의 근사치를 심각하게 왜곡하는 문제를 해결한다.
• 진짜 낮은 차원의 부분공간을 복원할 뿐 아니라, 오염된 열의 정확한 위치를 식별할 수 있는 방법을 개발한다.
• 자연스럽고 약한 가정 하에 열공간과 이상치 지지의 정확한 복원을 위한 이론적 보장을 제공한다.
• 기존의 강력한 PCA 방법의 단점을 극복한다. 기존 방법들은 고차원에서 실패하거나 이상치를 식별할 수 없다.
• 실제 응용 분야인 협업 필터링과 생물정보학에 관련된 노이즈가 있는 부분 관찰 데이터를 다룰 수 있도록 프레임워크를 확장한다.

제안 방법

• 문제를 행렬 분해 $ M = L_0 + C_0 $ 형태로 설정하며, 여기서 $ L_0 $ 는 낮은 질서이고 $ C_0 $ 는 열스parser(이상치)이다.
• 볼록 최적화 프로그램을 사용: $ L + C = M $ 를 조건으로 $ \|L\|_* + \lambda \|C\|_{1,2} $ 를 최소화한다. 여기서 $ \|\cdot\|_* $ 는 핵노름이고, $ \|\cdot\|_{1,2} $ 는 혼합 노름이다.
• 목표 구조(열공간)가 유일한 행렬에 대응하지 않는 경우 복원 조건을 분석하기 위해 오라클 문제를 활용한다.
• 전체 행렬 재구성 대신 열공간 복원을 위한 목적에 맞춘 최적성 증명서 기반의 새로운 분석 프레임워크를 도입한다.
• 관측된 항목의 집합인 $ \Omega $ 를 사용하여 제약 조건을 $ \mathcal{P}_\Omega(L + C) = \mathcal{P}_\Omega(M) $ 로 수정함으로써 노이즈가 있는 부분 관찰 환경에 적용한다.
• 회복된 $ C $ 행렬의 각 열의 $ \ell_2 $-노름을 히وري스틱으로 사용하여 이상치를 식별하며, 최적화 후 임계값 설정을 적용한다.

실험 결과

연구 질문

• RQ1 특정 비율의 열이 임의로 오염되었을 때, 랭크나 이상치 위치에 대한 사전 지식 없이도 낮은 질서 행렬의 열공간을 정확히 복원할 수 있는가?
• RQ2 볼록 최적화 공식 $ \min \|L\|_* + \lambda \|C\|_{1,2} $ 이 열공간과 이상치 위치를 정확히 복원하는 데 성공하는 조건은 무엇인가?
• RQ3 차원이 증가함에 따라 성능이 어떻게 변화하는가? 특히 전통적인 강력한 PCA 알고리즘의 붕괴점 감소와 비교하여 어떻게 되는가?
• RQ4 노이즈나 데이터 행렬의 부분 관찰이 존재하는 상황에서 이 방법이 이상치를 성공적으로 식별할 수 있는가?
• RQ5 이 방법은 데이터의 회전에 대해 불변이며, 다른 행렬 복원 프레임워크에서 흔히 요구하는 열공간 비일관성 가정을 피할 수 있는가?

주요 결과

• 이상치 비율과 $ L_0 $ 의 행공간 비일관성에 대한 제한된 조건 하에서, Outlier Pursuit는 $ L_0 $ 의 열공간과 $ C_0 $ 의 지지 집합을 정확히 복원한다.
• 기존의 행렬 완성 접근 방식과 달리, 이 방법은 이상치가 요소 수준에서 스퍼스럽지 않더라도 정확한 복원을 달성한다.
• 노이즈가 있는 경우, 신호 대 노이즈 비율 $ \sigma/s \leq 0.3 $ 일 때 동일한 이상치, $ \sigma/s \leq 0.7 $ 일 때 랜덤 이상치에 대해 정확히 이상치를 식별한다.
• 부분 관찰 데이터의 경우, 관측 비율이 30%일 때에도 높은 성공률 유지를 보이며, 완전한 관찰 사례와 유사한 성능을 유지한다.
• USPS 숫자 데이터셋에서, 이 알고리즘은 '7' 숫자의 11개 샘플을 모두 이상치로 정확히 식별하였으며, 특이한 필기 스타일로 인해 두 개의 '1' 샘플도 함께 경고했다.
• 이 방법은 회전 불변성을 가지며, 열공간 비일관성 가정이 필요하지 않다. 이는 이전의 핵노름 기반 접근 방식과 구별되는 특징이다.