[논문 리뷰] Provable Burer-Monteiro factorization for a class of norm-constrained matrix problems

Dohyung Park, Anastasios Kyrillidis외 3명|arXiv (Cornell University)|2016. 06. 04.

Advanced X-ray Imaging Techniques참고 문헌 5인용 수 22

한 줄 요약

이 논문은 정규화 및 양의 준정적 행렬 제약 조건을 갖는 저질서 행렬 문제를 위한 비볼록 최적화 방법인 투영된 인수 분해 경사하강법(Projected Factored Gradient Descent, ProjFGD)을 제안한다. Burer-Monteiro 인수 분해와 새로운 내림함수 보조정리를 활용하여, 강한 볼록성 및 리프시츠 연속 경사하강 조건 하에서 국소 선형 수렴을 달성하며, 양자 상태 톰그래피 및 희소 위상 재구성에서 최신 기법들을 능가한다.

ABSTRACT

We study the projected gradient descent method on low-rank matrix problems with a strongly convex objective. We use the Burer-Monteiro factorization approach to implicitly enforce low-rankness; such factorization introduces non-convexity in the objective. We focus on constraint sets that include both positive semi-definite (PSD) constraints and specific matrix norm-constraints. Such criteria appear in quantum state tomography and phase retrieval applications. We show that non-convex projected gradient descent favors local linear convergence in the factored space. We build our theory on a novel descent lemma, that non-trivially extends recent results on the unconstrained problem. The resulting algorithm is Projected Factored Gradient Descent, abbreviated as ProjFGD, and shows superior performance compared to state of the art on quantum state tomography and sparse phase retrieval applications.

연구 동기 및 목표

• 양의 준정적 및 추가적인 노름 제약 조건을 갖는 저질서 행렬 문제를 위한 확장 가능한 비볼록 최적화 방법을 개발한다.
• 강한 볼록성 및 리프시츠 연속 경사하강 조건 하에서, 인수 공간에서 투영된 경사하강법의 증명 가능한 국소 선형 수렴 보장을 수립한다.
• 대규모 행렬 최적화에서 고비용의 고유값 분해 계산 블로킹 문제를 저질서 인수 분해를 통해 해결한다.
• 구조적 제약 조건 집합을 갖는 제약 조건이 있는 비볼록 설정으로 내림함수 보조정리 이론을 확장한다.
• 양자 상태 톰그래피 및 희소 위상 재구성 응용 분야에서 뛰어난 경험적 성능을 입증한다.

제안 방법

• 저질서 및 양의 준정적 제약 조건을 암묵적으로 강제하기 위해 $X = UU^\top$ 형태의 Burer-Monteiro 인수 분해를 사용하여 각 반복에서 고비용의 고유값 분해를 피한다.
• 인수 행렬 $U \in \mathbb{R}^{n \times r}$ 에 직접 작용하는 투영된 인수 경사하강법(Projected Factored Gradient Descent, ProjFGD)을 제안한다.
• 비볼록, 제약 조건이 있는 인수 공간 설정으로 일반적인 볼록 내림함수 조건을 비트리비얼하게 확장한 새로운 내림함수 보조정리를 도입한다.
• 입력값의 스케일링 연산을 포함한 유한하고 볼록인 집합 $\mathcal{C} \subseteq \mathbb{R}^{n \times r}$ 를 통해 제약 조건을 구현하며, 유클리드 투영이 효율적으로 가능하도록 한다.
• 초기화 단계로 $X_0 = \Pi_{\mathcal{C}'}(-\frac{1}{L}\nabla f(0))$ 를 수행한 후, 저질서 인수 분해 및 투영을 통해 $U_0 \in \mathcal{C}$ 를 보장한다.
• 이론적 분석는 제약 조건 집합 $\mathcal{C}$ 가 $U$ 및 $X$ 공간 양쪽에서 수렴 가능성을 보장하는 구조적 조건을 만족한다고 가정하며, $f$ 의 제한된 강한 볼록성 및 미분 가능성 조건을 기반으로 한다.

실험 결과

연구 질문

• RQ1 인수 행렬 $U$ 에서의 투영된 경사하강법이 제약 조건이 있는 저질서 행렬 문제에서 국소 선형 수렴을 달성할 수 있는가?
• RQ2 비볼록, 제약 조건이 있는 최적화 문제에 대해 인수 공간에서 내림함수 보조정리를 어떻게 확장할 수 있는가?
• RQ3 제한된 강한 볼록성 및 미분 가능성 조건 하에서 ProjFGD의 수렴을 보장하는 초기화 조건은 무엇인가?
• RQ4 Burer-Monteiro 인수 분해 접근 방식이 양자 상태 톰그래피 및 희소 위상 재구성에서 기존 기법들을 능가할 수 있는가?
• RQ5 인수 공간 $U$ 를 통해 원래 행렬 공간 $X$ 에서 전역 최적해로 수렴하기 위한 이론적 조건은 무엇인가?

주요 결과

• 제한된 강한 볼록성 및 리프시츠 연속 경사하강 조건 하에서, ProjFGD 는 인수 공간 $U$ 에서 국소 선형 수렴을 달성한다.
• 제안된 내림함수 보조정리는 제약 조건이 있고 비볼록인 설정에서 볼록 내림함수 이론을 비트리비얼하게 확장한다.
• 초기화된 $U_0$ 는 $\mathrm{Dist}(U_0, U^\star) \leq \rho' \cdot \sigma_r(U^\star)$ 를 만족하며, 여기서 $\rho' = \sqrt{\frac{1 - \mu/L}{2(\sqrt{2}-1)}} \cdot \tau^2(U^\star) \cdot \sqrt{\mathrm{srank}(X^\star)}$ 이다.
• 경험적 결과로 ProjFGD 는 양자 상태 톰그래피 및 희소 위상 재구성 과제에서 최신 기법들을 능가하는 성능을 보였다.
• 저질서 인수 분해를 통해 고비용의 고유값 분해를 피함으로써 대규모 환경에서도 확장 가능성을 확보한다.
• 적절한 가정 하에 $\mathcal{C}^\prime$ 가 $\ell_1$-노름 제약 조건을 포함하더라도 이론적 보장이 유지되며, 이는 희소 PCA 및 위상 재구성 등 응용에 유용하다.