[논문 리뷰] A Novel M-Estimator for Robust PCA

Teng Zhang, Gilad Lerman|arXiv (Cornell University)|2011. 12. 20.

Sparse and Compressive Sensing Techniques참고 문헌 90인용 수 95

한 줄 요약

이 논문은 강건한 주성분 분석(PCA)을 위한 새로운 M-추정량을 제안하며, 강건한 역표본 공분산을 기반으로 한 볼록 에너지 함수를 최소화하여 정확한 부분공간 복원을 달성한다. 이 방법은 선형 수렴 속도를 보이는 반복적으로 재가중된 최소제곱 알고리즘을 사용하여, 합성 및 실제 데이터에서 기존 방법보다 빠르고 정확하며, 내측자와 외측자 분포에 대한 온건한 조건 하에서 이론적 보장을 제공한다.

ABSTRACT

We study the basic problem of robust subspace recovery. That is, we assume a data set that some of its points are sampled around a fixed subspace and the rest of them are spread in the whole ambient space, and we aim to recover the fixed underlying subspace. We first estimate "robust inverse sample covariance" by solving a convex minimization procedure; we then recover the subspace by the bottom eigenvectors of this matrix (their number correspond to the number of eigenvalues close to 0). We guarantee exact subspace recovery under some conditions on the underlying data. Furthermore, we propose a fast iterative algorithm, which linearly converges to the matrix minimizing the convex problem. We also quantify the effect of noise and regularization and discuss many other practical and theoretical issues for improving the subspace recovery in various settings. When replacing the sum of terms in the convex energy function (that we minimize) with the sum of squares of terms, we obtain that the new minimizer is a scaled version of the inverse sample covariance (when exists). We thus interpret our minimizer and its subspace (spanned by its bottom eigenvectors) as robust versions of the empirical inverse covariance and the PCA subspace respectively. We compare our method with many other algorithms for robust PCA on synthetic and real data sets and demonstrate state-of-the-art speed and accuracy.

연구 동기 및 목표

• 외곽값과 노이즈에 민감하지 않으며, 증명 가능하게 강건하고 볼록적인 부분공간 복원 방법을 개발한다.
• 부분공간 추정에서 그라스만만드의 비볼록성 문제를 해결하기 위해 표본 공분산의 볼록적 완화를 사용한다.
• 경험적 페널티 함수의 힌트를 제거하고 체계적인 M-추정량 프레임워크를 도입함으로써 조정 파rameter가 필요 없도록 한다.
• 반복 알고리즘의 선형 수렴을 보장하고 부분공간 복원에 대한 이론적 보장을 제공한다.
• 합성 및 실제 세계 데이터 세트에서 기존의 강건한 PCA 방법들에 비해 뛰어난 성능을 보여준다.

제안 방법

• 비제곱 손실 함수를 사용하는 M-추정량을 통해 큰 잔차를 가중치를 줄이는 볼록 에너지 함수를 최소화하여 강건한 역표본 공분산 행렬을 추정한다.
• 강건한 역공분산 행렬의 최소 고유벡터들이 영에 가까운 고유값에 대응하는 부분공간이 복원된다.
• 반복적으로 재가중된 최소제곱(IRLS) 알고리즘이 제안되며, 이는 볼록 에너지 함수의 최소화점으로 선형 수렴한다.
• 알고리즘은 각 반복 단계에서 현재 부분공간 추정치에 데이터를 투영하고, 축소된 하위문제를 해결함으로써 계산 효율성을 향상시킨다.
• 정규화를 통합하고 노이즈에 대한 강건성 및 부분공간 복원 정확도에 미치는 영향을 정량화한다.
• 이론적 분석은 내측자와 외측자에 대한 온건한 분포 가정 하에서 정확한 부분공간 복원이 가능함을 보여준다. 이는 내측자 크기의 유계성과 희박한 외측자 구조를 포함한다.

실험 결과

연구 질문

• RQ1 외부 조정 파rameter 없이 정확한 부분공간 복원을 보장하는 볼록 M-추정량을 강건한 PCA에 설계할 수 있는가?
• RQ2 비볼록 부분공간 추정 문제를 효과적으로 볼록 최적화 프레임워크로 완화할 수 있는가?
• RQ3 볼록 최소화 문제를 해결하는 반복 알고리즘에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ4 합성 및 실제 데이터에서 제안된 방법이 기존의 강건한 PCA 알고리즘에 비해 정확도와 속도에서 어떻게 비교되는가?
• RQ5 내측자와 외측자에 대해 어떤 분포 가정 하에서 방법이 정확한 부분공간 복원을 달성하는가?

주요 결과

• 제안된 M-추정량은 내측자 크기의 유계성과 희박한 외측자와 같은 온건한 조건 하에서도 고차원 설정에서도 정확한 부분공간 복원을 달성한다.
• IRLS 알고리즘이 볼록 최소화 문제의 해로 선형 수렴하므로 빠르고 안정적인 계산이 보장된다.
• 합성 및 실제 세계 데이터 세트, 특히 얼굴 및 운동 데이터에서 최첨단 강건한 PCA 알고리즘보다 빠르고 정확하게 성능을 뛰어넘는다.
• M-추정량에서 유도된 강건한 역공분산 행렬은 고전적 표본 역공분산의 강건한 대체물이며, 그 최소 고유벡터들이 강건한 PCA 부분공간을 제공한다.
• 이론적 분석은 표준 L1 기반 추정량이 큰 크기의 외측자에 의해 오도될 수 있는 반면, 이 방법은 단일 외측점에 대해 민감하지 않음을 확인한다.
• 이 프레임워크는 다중 부분공간 및 하이브리드 오염 모델로의 이론적 확장이 가능하므로 단일 부분공간 복원을 넘어서 광범위한 적용 가능성을 시사한다.