[논문 리뷰] Non-Convex Rank Minimization via an Empirical Bayesian Approach

David Wipf|arXiv (Cornell University)|2014. 08. 09.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 19

한 줄 요약

이 논문은 변분 근사와 경험 베이지안 프레임워크를 사용한 비볼록 랭크 최소화 방법을 제안하며, 제약 조건 하에서 랭크 함수의 전역 최소값을 유지하면서 局부 최소값을 부드럽게 한다. 핵자기 노름의 완화와는 달리, 볼록 방법이 실패하는 상황에서도 낮은 랭크 행렬을 성공적으로 복원하며, 희박한 오염이 있는 강건한 PCA에서 뛰어난 성능을 보인다.

ABSTRACT

In many applications that require matrix solutions of minimal rank, the underlying cost function is non-convex leading to an intractable, NP-hard optimization problem. Consequently, the convex nuclear norm is frequently used as a surrogate penalty term for matrix rank. The problem is that in many practical scenarios there is no longer any guarantee that we can correctly estimate generative low-rank matrices of interest, theoretical special cases notwithstanding. Consequently, this paper proposes an alternative empirical Bayesian procedure build upon a variational approximation that, unlike the nuclear norm, retains the same globally minimizing point estimate as the rank function under many useful constraints. However, locally minimizing solutions are largely smoothed away via marginalization, allowing the algorithm to succeed when standard convex relaxations completely fail. While the proposed methodology is generally applicable to a wide range of low-rank applications, we focus our attention on the robust principal component analysis problem (RPCA), which involves estimating an unknown low-rank matrix with unknown sparse corruptions. Theoretical and empirical evidence are presented to show that our method is potentially superior to related MAP-based approaches, for which the convex principle component pursuit (PCP) algorithm (Candes et al., 2011) can be viewed as a special case.

연구 동기 및 목표

• 비볼록, NP-완전한 상황에서 볼록 핵자기 노름 완화의 한계를 해결하기 위해, 낮은 랭크 행렬 복원에서 진정한 낮은 랭크 구조를 복원하지 못하는 문제를 다루기 위해.
• 일반적인 제약 조건 하에서 랭크 함수의 전역 최소화자를 유지하면서 볼록 완화에 의해 유도되는 부분 최적 해를 피하기 위한 방법을 개발하기 위해.
• 특히 희박한 오염이 존재하는 상황에서 MAP 기반 접근법(예: 볼록 PCP 알고리즘)에 대한 강건한 대안을 제공하기 위해.
• 이론적 보장이 핵자기 노름의 경우에 충분하지 않은 실용적 환경에서 정확한 낮은 랭크 행렬 추정을 가능하게 하기 위해.
• 기존의 볼록 및 비볼록 대안들과 비교하여 강건한 PCA 적용에서 제안된 경험 베이지안 접근의 우수성을 입증하기 위해.

제안 방법

• 낮은 랭크 행렬에 대한 계층적 사전 분포를 도입하여 잠재 변수에 대한 마진화를 가능하게 하는 경험 베이지안 프레임워크를 사용한다.
• 진짜 사후 분포를 근사하기 위한 계산 가능한 목적 함수를 도출하기 위해 변분 근사를 사용한다.
• 일반적인 제약 조건(고정된 랭크 또는 낮은 랭크 구조 등) 하에서 랭크 함수와 동일한 전역 최소화자를 유지하는 비볼록 최적화 목적 함수를 구성한다.
• 베이지안 마진화를 통해 局부 최소값을 부드럽게 하여 초기화에 대한 민감도를 줄이고 전역 해로의 수렴을 향상시킨다.
• 낮은 랭크 성분과 희박한 오염을 조건부 독립 사전 분포로 모델링하여 강건한 PCA에 적용한다.
• 변분 하한을 활용하여 낮은 랭크 행렬과 희박한 오염을 번갈아 추정하는 반복 최적화 알고리즘을 유도한다.

실험 결과

연구 질문

• RQ1 비볼록 랭크 최소화 접근법은 랭크 함수의 전역 최소화자를 유지하면서 局부 최소값을 피할 수 있는가?
• RQ2 경험 베이지안 마진화는 핵자기 노름 완화보다 낮은 랭크 행렬 복원에서 성능을 향상시키는가?
• RQ3 제안된 방법은 희박한 오염이 있는 강건한 PCA에서 볼록 PCP 알고리즘과 비교해 어떻게 성능을 내는가?
• RQ4 어떤 실용적 상황에서 제안된 방법이 기존의 MAP 기반 접근법을 초월하는가?
• RQ5 이 방법은 진정한 랭크 함수와 이론적으로 일致하면서도 계산적으로 실현 가능할 수 있는가?

주요 결과

• 핵자기 노름 완화와 달리, 일반적인 제약 조건 하에서 랭크 함수와 동일한 전역 최소화점 추정치를 유지한다.
• 나쁜 조건 또는 강한 희박한 오염으로 인해 볼록 완화가 실패하는 상황에서도 낮은 랭크 행렬을 성공적으로 복원한다.
• 실험 결과는 특히 고오염 환경에서 볼록 PCP 알고리즘보다 강건한 PCA 작업에서 뛰어난 성능을 보였다.
• 초기화에 대한 강건성과 함께, 표준 비볼록 최적화 기법보다 더 나은 해로 수렴함을 보였다.
• 이론적 분석을 통해 마진화가 실제로 局부 최소값을 억제하여 비볼록 환경에서 전역 수렴을 가능하게 함을 확인했다.
• 희박한 오염 하에서 낮은 랭크 복원의 정확도를 향상시키는 등, MAP 기반 방법에 대한 원칙적인 대안을 제공한다.