[논문 리뷰] Bridging Convex and Nonconvex Optimization in Robust PCA: Noise, Outliers, and Missing Data

Yuxin Chen, Jianqing Fan외 2명|arXiv (Cornell University)|2020. 01. 15.

Sparse and Compressive Sensing Techniques참고 문헌 78인용 수 4

한 줄 요약

이 논문은 랜덤 노이즈, 거대한 이상치, 그리고 누락된 데이터 하에서 볼록 최적화를 통한 강건한 주성분 분석(RPCA)에 대해 근사 최적의 통계적 보장을 수립한다. 이는 볼록 리 릴랙세이션과 보조 비볼록 최적화 프레임워크를 연결함으로써 달성된다. 미세한 조건 하에서, 볼록 프로그램은 프로베니우스 노름과 ℓ∞ 노름 모두에서 거의 최소 최대 최적 오차율을 달성함을 증명한다. 이는 거의 일정 비율의 요소가 임의로 손상된 경우에도 성립한다.

ABSTRACT

This paper delivers improved theoretical guarantees for the convex programming approach in low-rank matrix estimation, in the presence of (1) random noise, (2) gross sparse outliers, and (3) missing data. This problem, often dubbed as robust principal component analysis (robust PCA), finds applications in various domains. Despite the wide applicability of convex relaxation, the available statistical support (particularly the stability analysis vis-à-vis random noise) remains highly suboptimal, which we strengthen in this paper. When the unknown matrix is well-conditioned, incoherent, and of constant rank, we demonstrate that a principled convex program achieves near-optimal statistical accuracy, in terms of both the Euclidean loss and the $\ell_{\infty}$ loss. All of this happens even when nearly a constant fraction of observations are corrupted by outliers with arbitrary magnitudes. The key analysis idea lies in bridging the convex program in use and an auxiliary nonconvex optimization algorithm, and hence the title of this paper.

연구 동기 및 목표

• 기존의 안정성 분석이 열등한 랜덤 노이즈 하에서 볼록 강건 PCA의 이론적 간극을 메우기.
• 랜덤 노이즈, 거대한 희박한 이상치, 그리고 누락된 항목이 있는 경우에 낮은 질량 행렬 추정을 위한 향상된 통계적 보장을 제공하기.
• 비록 일부 관측치가 임의의 크기의 이상치로 손상되더라도 볼록 리 릴랙세이션 방법이 거의 최적의 복원 정확도를 달성할 수 있음을 보여주기.
• 더 날카운 오차 경계를 도출하기 위해 볼록 리 릴랙세이션 분석을 보조 비볼록 최적화 절차와 연결하기.
• 기저의 낮은 질량 행렬에 대해 잘 조건화되고, 비일관성 있고, 일정한 질량을 갖는 조건 하에서 프로베니우스 노름과 ℓ∞ 오차 보장을 수립하기.

제안 방법

• 관측된 항목에 대한 데이터 일관성 조건 하에서, 핵노름과 희박 성분의 ℓ1-노름을 최소화하는 원칙적인 볼록 프로그램을 도입하기.
• 비볼록 최적화 절차가 볼록 해의 대체로 사용되는 경우의 수렴성과 안정성을 분석하기 위해 떠나는 한 개의 분석 프레임워크를 사용하기.
• 편향 경계를 분석하여 반복값 간의 차이를 분석함으로써 볼록 해와 비볼록 해의 동치성을 확립하기.
• 서브가우시안 노이즈와 희박한 손상 하에서 추정 오차의 행동을 제어하기 위해 확률론적 및 랜덤 행렬 이론 도구를 적용하기.
• 볼록 리 릴랙세이션에 대한 원시 오차 경계를 유도하고, 비볼록 알고리즘 분석을 통해 이를 정교화함으로써 더 날카운 통계적 보장을 도출하기.
• 최적화 문제의 구조를 활용하여 진짜 성분과 추정 성분 간의 차이가 ℓ∞ 및 프로베니우스 노름 모두에서 작다는 것을 보여주기.

실험 결과

연구 질문

• RQ1 강건한 PCA에서 볼록 리 릴랙세이션 접근법이 랜덤 노이즈, 거대한 이상치, 그리고 누락된 데이터 하에서 근사 최적의 통계 정확도를 달성할 수 있는가?
• RQ2 임의의 크기의 희박한 이상치와 서브가우시안 노이즈가 존재할 경우, 볼록 리 릴랙세이션으로서 도달 가능한 가장 날카운 오차 경계는 무엇인가?
• RQ3 비볼록 분석을 통해 볼록 강건 PCA의 이론적 보장과 실용적 성능 사이의 격차를 어떻게 메울 수 있는가?
• RQ4 거의 일정 비율의 항목이 손상된 경우, 볼록 프로그램이 얼마나 오랫동안 안정성과 정확도를 유지할 수 있는가?
• RQ5 어떤 조건 하에서 볼록 해가 비볼록 최적화 절차의 해와 밀접하게 근접하는가?

주요 결과

• 서브가우시안 노이즈 하에서 볼록 프로그램은 프로베니우스 오차율이 $\sqrt{r(n_1+n_2)\log n}/n$ 순서로 근사 최소 최대 최적을 달성하며, 로그 요소까지 최소 최대 하한선과 일치한다.
• ℓ∞ 오차 경계 역시 근사 최적이다. 각 항목에 대해 $\sqrt{\log n}/n$ 비례로 스케일링되며, 일정 비율의 항목이 거대하게 손상된 경우에도 성립한다.
• 손상된 항목의 비율이 일정에 가까워지더라도, 이상치 행렬이 희박하고 낮은 질량 행렬이 비일관성 있는 한, 방법은 안정적이고 정확하다.
• 분석을 통해 볼록 리 릴랙세이션 해가 진짜 낮은 질량 행렬의 작은 이웃에 있다는 것이 입증되었으며, 이는 떠나는 한 개 기법을 통해 오차가 제어됨을 보여준다.
• 약한 가정 하에서 볼록 해와 비볼록 해의 동치성이 증명되었으며, 이는 비볼록 알고리즘이 볼록 해를 분석하는 데 사용될 수 있음을 보여준다.
• 안정적인 복원을 위한 충분한 표본을 확보하기 위해 $n^2 p \rho_{\text{aug}} \gg \mu r n \log n$ 조건이 성립해야 한다.