[논문 리뷰] Robust PCA by Manifold Optimization

Teng Zhang, Yi Yang|arXiv (Cornell University)|2017. 08. 01.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 19

한 줄 요약

이 논문은 Burer-Monterio 분해를 통해 데이터 행렬의 저랭크 구조를 파arameter화함으로써 저항성 주성분 분석(robust PCA)을 위한 두 가지 다양체 최적화 알고리즘을 제안한다. 적절한 초기화를 통해 알고리즘은 진정한 저랭크 행렬로 선형 수렴하며, 이전 방법에 비해 기저 행렬의 조건수에 대한 이론적 의존도를 감소시킨다.

ABSTRACT

Robust PCA is a widely used statistical procedure to recover a underlying low-rank matrix with grossly corrupted observations. This work considers the problem of robust PCA as a nonconvex optimization problem on the manifold of low-rank matrices, and proposes two algorithms (for two versions of retractions) based on manifold optimization. It is shown that, with a proper designed initialization, the proposed algorithms are guaranteed to converge to the underlying low-rank matrix linearly. Compared with a previous work based on the Burer-Monterio decomposition of low-rank matrices, the proposed algorithms reduce the dependence on the conditional number of the underlying low-rank matrix theoretically. Simulations and real data examples confirm the competitive performance of our method.

연구 동기 및 목표

• 고차원 데이터에서 극단적으로 손상된 관측치로부터 저랭크 행렬을 복구하는 데 도전한다.
• 각 반복 단계당 $O(n_1n_2\min(n_1,n_2))$의 높은 계산 복잡도를 가지는 볼록 이완 방법의 한계를 극복한다.
• 더 빠르고 확장 가능한 복구를 달성하기 위해 저랭크 행렬의 다양체 위에 비볼록 최적화 프레임워크를 개발한다.
• 기존의 비볼록 방법들인 Burer-Monterio 기반 접근법에 비해 기저 저랭크 행렬의 조건수에 대한 이론적 의존도를 줄인다.
• 적절한 초기화 전략을 통해 선형 수렴을 보장함으로써 실용적 환경에서의 강건성과 효율성을 향상시킨다.

제안 방법

• 저랭크 행렬 $\boldsymbol{L}^*$를 $\boldsymbol{U}\boldsymbol{V}^T$로 파arameter화함으로써, 다각체 위의 비볼록 최적화 문제로 저항성 주성분 분석을 공식화한다.
• 재구성과 벡터 운반 기법을 포함한 다각체 최적화 기법을 사용하여 비볼록 다각체 구조를 효율적으로 탐색한다.
• 수치적 안정성과 수렴 보장을 확보하기 위해 서로 다른 재구성 기반 기반의 두 알고리즘을 설계한다.
• 내재 기하학을 활용하여 파arameterization의 중복을 피하기 위해, 저랭크 행렬의 다양체 위에서 경사하강법을 적용한다.
• 반복값이 진정한 저랭크 행렬의 이웃에 머무르도록 맞춤형 초기화 절차를 도입한다.
• 집중 불확실성 및 네트워크 추론 기법을 사용하여 희박한 노이즈 $\boldsymbol{S}^*$가 최적화 경로에 미치는 영향을 제한함으로써 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 저랭크 다각체 위에서 비볼록 최적화를 통해 저항성 주성분 분석을 이론적 수렴 보장과 함께 효율적으로 해결할 수 있는가?
• RQ2 제안된 방법은 기존 Burer-Monterio 기반 접근법에 비해 기저 저랭크 행렬의 조건수에 대해 얼마나 줄어든 의존도를 가지는가?
• RQ3 어떤 초기화 전략이 최적화 알고리즘이 진정한 저랭크 행렬로 선형 수렴하도록 보장하는가?
• RQ4 고도로 희박한 손상이 있는 데이터에서 다각체 최적화 프레임워크가 강건성을 유지하는가?
• RQ5 볼록 이완 또는 표준 비볼록 방법에 비해 더 빠른 수렴과 낮은 계산 비용을 달성할 수 있는가?

주요 결과

• 적절한 초기화를 통해 제안된 알고리즘은 진정한 저랭크 행렬 $\boldsymbol{L}^*$로 선형 수렴하며, 수렴 속도가 조건수 $\kappa$에 독립적이다.
• 이론적 분석 결과, 이전의 Burer-Monterio 기반 방법에 비해 조건수 $\kappa$에 대한 의존도가 감소함을 보여주며, 이는 $O(1/\kappa^2)$로 스케일링된다.
• 알고리즘은 $O(r n_1 n_2)$의 반복 단위 복잡도를 달성하여 최고의 비볼록 방법과 동일하며, 더 높은 이론적 강건성을 확보한다.
• 시뮬레이션 및 실데이터 실험을 통해 복구 정확도와 계산 효율성 측면에서 경쟁적인 성능을 확인하였다.
• 확률적으로 높은 수준에서, 손상된 요소의 비율 $\gamma = O(1/\mu^2 r)$일 경우 $\boldsymbol{L}^*$를 회복할 수 있다. 이는 최고의 이론적 한계와 일치한다.
• 노이즈 항 $\boldsymbol{N}^*$에 대한 이론적 한계는 네트워크 커버링과 집중 불확실성 기법을 사용하여 유도되었으며, 이는 노이즈가 수렴을 방해하지 않음을 보장한다.