[논문 리뷰] Robust Principal Component Analysis by Manifold Optimization

Teng Zhang, Yi Yang|arXiv (Cornell University)|2017. 08. 01.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 저질서 행렬 복원을 저질서 행렬의 다양체 위의 비볼록 최적화 문제로 간주하여, 강건한 주성분 분석을 위한 두 가지 다양체 최적화 알고리즘을 제안한다. 적절한 초기화 조건 하에서 알고리즘은 진짜 저질서 행렬로 선형 수렴하며, 이전의 Burer-Monier 기반 방법에 비해 조건수에 대한 이론적 의존도를 감소시킨다.

ABSTRACT

Robust PCA is a widely used statistical procedure to recover a underlying low-rank matrix with grossly corrupted observations. This work considers the problem of robust PCA as a nonconvex optimization problem on the manifold of low-rank matrices, and proposes two algorithms (for two versions of retractions) based on manifold optimization. It is shown that, with a proper designed initialization, the proposed algorithms are guaranteed to converge to the underlying low-rank matrix linearly. Compared with a previous work based on the Burer-Monterio decomposition of low-rank matrices, the proposed algorithms reduce the dependence on the conditional number of the underlying low-rank matrix theoretically. Simulations and real data examples confirm the competitive performance of our method.

연구 동기 및 목표

• 강건한 주성분 분석을 저질서 행렬의 다각도 위의 비볼록 최적화 문제로 다루는 것.
• 기존의 Burer-Monier 분해 기반 방법에 비해 기저 저질서 행렬의 조건수에 대한 이론적 의존도를 줄이는 것.
• 적절한 초기화 조건 하에서 보장된 선형 수렴을 보장하는 알고리즘 개발

제안 방법

• 강건한 주성분 분석을 저질서 행렬의 다각도 위의 비볼록 최적화 문제로 공식화한다.
• 다양체 최적화를 위한 서로 다른 재접속 매핑 기반의 두 알고리즘을 설계한다.
• 진짜 저질서 행렬로의 수렴을 보장하기 위해 맞춤형 초기화 전략을 활용한다.
• 저질서 행렬의 다각도를 효율적으로 탐색하기 위해 리만 최적화 기법을 적용한다.
• 이론적 분석을 통해 적절한 초기화 조건 하에서 선형 수렴이 보장됨을 밝힌다.
• 다양체 구조를 활용하여 수치적 안정성을 향상시키고 조건수 민감도를 감소시킨다.

실험 결과

연구 질문

• RQ1 강건한 주성분 분석은 저질서 행렬의 다각도 위의 비볼록 최적화 문제로 효과적으로 공식화되고 해결될 수 있는가?
• RQ2 제안된 다각도 최적화 접근법은 Burer-Monier 분해에 비해 조건수 의존도 측면에서 어떻게 비교되는가?
• RQ3 어떤 초기화 전략이 진짜 저질서 행렬로의 선형 수렴을 보장하는가?
• RQ4 제안된 알고리즘은 시뮬레이션 데이터와 실제 데이터 모두에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• 적절한 초기화 조건 하에서 제안된 알고리즘은 기저 저질서 행렬로 선형 수렴을 달성한다.
• 이전의 Burer-Monier 기반 접근법에 비해 저질서 행렬의 조건수에 대한 이론적 의존도를 감소시킨다.
• 시뮬레이션 결과는 기존 방법들과 경쟁 가능한 성능을 보여준다.
• 실제 데이터 예제를 통한 분석은 제안된 방법의 실용적 효과를 확인한다.
• 다양체 최적화 프레임워크는 향상된 수치적 안정성과 수렴 행동을 제공한다.