[논문 리뷰] A Nonconvex Free Lunch for Low-Rank plus Sparse Matrix Recovery

Xiao Zhang, Lingxiao Wang외 1명|arXiv (Cornell University)|2017. 02. 21.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 3

한 줄 요약

이 논문은 행렬 분해와 이중 임계값 연산자를 갖춘 투영 경사하강법을 사용하여 저질서 + 희소 행렬 복원을 위한 비볼록 최적화 프레임워크를 제안한다. 새로운 구조적 리프시츠 기울기 조건을 통해 국소적으로 선형 수렴 속도를 달성하며, 초합성 구조 모델에 대해 빠른 수렴을 가능하게 하고, 기존의 최고 수준의 희소성에 대한 내성과 일치시킨다.

ABSTRACT

We propose a unified framework to solve general low-rank plus sparse matrix recovery problems based on matrix factorization, which covers a broad family of objective functions satisfying the restricted strong convexity and smoothness conditions. Based on projected gradient descent and the double thresholding operator, our proposed generic algorithm is guaranteed to converge to the unknown low-rank and sparse matrices at a locally linear rate, while matching the best-known robustness guarantee (i.e., tolerance for sparsity). At the core of our theory is a novel structural Lipschitz gradient condition for low-rank plus sparse matrices, which is essential for proving the linear convergence rate of our algorithm, and we believe is of independent interest to prove fast rates for general superposition-structured models. We illustrate the application of our framework through two concrete examples: robust matrix sensing and robust PCA. Experiments on both synthetic and real datasets corroborate our theory.

연구 동기 및 목표

• 노이즈가 있거나 완전하지 않은 관측치로부터 저질서 및 희소 행렬 성분을 통합된 비볼록 최적화 프레임워크로 복원하는 문제에 대응하기 위해.
• 일반적인 저질서 + 희소 행렬 복원 문제에 대해 국소적으로 선형 수렴 속도를 보장하는 수렴 보장을 수립하기 위해.
• 기존 방법의 이론적 내성 한계에 맞추어 가장 잘 알려진 희소성에 대한 내성을 달성하기 위해.
• 초합성 구조 모델을 위한 특화된 새로운 구조적 리프시츠 기울기 조건을 도입하기 위해.
• 이론적 보장을 갖춘 실제 및 합성 데이터에 대한 강건한 행렬 감지 및 강건한 주성분 분석 응용을 통해 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 저질서 성분을 매개변수화하기 위해 행렬 분해를 활용하여 저차원 다양체 위에서의 비볼록 최적화를 가능하게 한다.
• 목적 함수를 최적화하기 위해 투영 경사하강법을 사용하며, 투영을 통해 반복값이 저질서 다양체 내에 유지되도록 보장한다.
• 해결책에서 동시에 저질서 및 희소 구조를 촉진하기 위해 이중 임계값 연산자를 도입한다.
• 수렴 분석은 저질서 + 희소 행렬의 기하학적 특성을 반영하는 새로운 구조적 리프시츠 기울기 조건에 기반한다.
• 제한된 강한 볼록성과 미분 가능성 조건을 만족하는 광범위한 목적 함수 클래스에 적용 가능하다.
• 측정 연산자 및 노이즈 모델에 대한 표준 가정 하에 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화 프레임워크는 저질서 + 희소 행렬 복원 문제에서 국소적으로 선형 수렴 속도를 달성할 수 있는가?
• RQ2 초합성 구조 모델에서 빠른 수렴 속도를 가능하게 하는 목적 함수의 구조적 조건는 무엇인가?
• RQ3 제안된 방법은 기존의 볼록 또는 비볼록 접근법과 비교해 희소성에 대해 얼마나 뛰어난 내성을 보이는가?
• RQ4 이 프레임워크는 이론적 보장을 갖춘 강건한 행렬 감지 및 강건한 주성분 분석과 같은 구체적 문제에 적용될 수 있는가?
• RQ5 새로운 구조적 리프시츠 기울기 조건은 빠른 수렴을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 표준 가정 하에서 제안된 알고리즘은 진짜 저질서 및 희소 성분으로 국소적으로 선형 수렴 속도를 달성한다.
• 이 방법은 기존 연구의 이론적 내성 한계에 맞추어 가장 잘 알려진 희소성에 대한 내성을 달성한다.
• 새로운 구조적 리프시츠 기울기 조건은 선형 수렴 속도를 증명하는 데 필수적이며, 일반적인 초합성 구조 모델에 대해 별도의 관심을 가진다.
• 합성 및 실제 데이터에 대한 실험 결과는 이론적 수렴성 및 내성 주장의 타당성을 확인한다.
• 프레임워크는 강건한 행렬 감지 및 강건한 주성분 분석으로 일반화되어 실용적 유용성을 입증한다.
• 이중 임계값 연산자는 희소성 수준에 대한 사전 지식 없이도 저질서 및 희소 복원을 효과적으로 균형 잡는 데 기여한다.