[論文レビュー] Provable Burer-Monteiro factorization for a class of norm-constrained matrix problems

Dohyung Park, Anastasios Kyrillidis+3 more|arXiv (Cornell University)|Jun 4, 2016

Advanced X-ray Imaging Techniques参考文献 5被引用数 22

ひとこと要約

本稿では、正定値およびノルム制約を伴う低ランク行列問題に対する非凸最適化手法として、射影係数勾配降下法（ProjFGD）を提案する。Burer-Monteiro因数分解と新たな勾配降下補題を活用することで、強い凸性およびリプシッツ勾配の仮定のもとで局所的線形収束を達成し、量子状態トモグラフィーおよびスパース位相リカバリーにおいて、最先端の手法を上回る性能を示す。

ABSTRACT

We study the projected gradient descent method on low-rank matrix problems with a strongly convex objective. We use the Burer-Monteiro factorization approach to implicitly enforce low-rankness; such factorization introduces non-convexity in the objective. We focus on constraint sets that include both positive semi-definite (PSD) constraints and specific matrix norm-constraints. Such criteria appear in quantum state tomography and phase retrieval applications. We show that non-convex projected gradient descent favors local linear convergence in the factored space. We build our theory on a novel descent lemma, that non-trivially extends recent results on the unconstrained problem. The resulting algorithm is Projected Factored Gradient Descent, abbreviated as ProjFGD, and shows superior performance compared to state of the art on quantum state tomography and sparse phase retrieval applications.

研究の動機と目的

• 正定値および追加のノルム制約を伴う低ランク行列問題に対するスケーラブルな非凸最適化手法の開発。
• 強い凸性およびリプシッツ勾配条件の下で、因数空間における射影勾配降下法の証明可能な局所的線形収束保証の確立。
• 大規模行列最適化における固有値分解の計算ボトルネックを、低ランク因数分解を用いることで克服すること。
• 構造的制約集合を伴う制約付き非凸設定への勾配降下補題理論の拡張。
• 量子状態トモグラフィーやスパース位相リカバリー応用における優れた経験的性能の実証。

提案手法

• 低ランクおよび正定値制約を暗黙的に強制するために、Burer-Monteiro因数分解 $X = UU^\top$ を用い、各反復における高価な固有値分解を回避する。
• 因子行列 $U \in \mathbb{R}^{n \times r}$ に直接作用する射影勾配法として、射影係数勾配降下法（ProjFGD）を提案する。
• 凸勾配降下条件を制約付き非凸因数空間設定に非自明に拡張する、新たな勾配降下補題を採用する。
• コン pact かつ凸な集合 $\mathcal{C} \subseteq \mathbb{R}^{n \times r}$ を用いて制約を課し、実行可能なユークリッド射影が得られるようにする。これには、エントリごとのスケーリング操作が含まれる。
• 初期化として $X_0 = \Pi_{\mathcal{C}'}(-\frac{1}{L}\nabla f(0))$ を行い、その後に低ランク因数分解と射影を施し、$U_0 \in \mathcal{C}$ を保証する。
• 理論的分析は、$f$ の制限付き強い凸性および滑らかさに依存しており、$\mathcal{C}$ が $U$ 空間および $X$ 空間の両方での収束を可能にする構造的条件を満たすと仮定する。

実験結果

リサーチクエスチョン

• RQ1 因子行列 $U$ における射影勾配降下法は、ノルム制約付き低ランク行列問題において、局所的線形収束を達成できるか？
• RQ2 因数空間における非凸・制約付き最適化に、勾配降下補題をどのように拡張できるか？
• RQ3 制限付き強い凸性および滑らかさの下で、ProjFGD の収束を保証する初期化は何か？
• RQ4 Burer-Monteiro因数分解アプローチは、量子状態トモグラフィーやスパース位相リカバリーにおいて、標準的手法を上回る性能を示せるか？
• RQ5 $X$ 空間におけるグローバル最適解への収束が、$U$ 空間経由で成立する理論的条件は何か？

主な発見

• 制限付き強い凸性およびリプシッツ勾配条件の下で、ProjFGD は因数空間 $U$ において局所的線形収束を達成する。
• 提案された勾配降下補題は、構造的制約を伴う制約付き非凸設定への凸勾配降下理論の非自明な拡張を実現する。
• 初期化 $U_0$ は、$\mathrm{Dist}(U_0, U^\star) \leq \rho' \cdot \sigma_r(U^\star)$ を満たし、$\rho' = \sqrt{\frac{1 - \mu/L}{2(\sqrt{2}-1)}} \cdot \tau^2(U^\star) \cdot \sqrt{\mathrm{srank}(X^\star)}$ を満たす。
• 経験的結果から、ProjFGD は量子状態トモグラフィーやスパース位相リカバリーのタスクにおいて、最先端の手法を上回ることが示された。
• 大規模な設定においてもスケーラビリティを確保するため、低ランク因数分解を用いて高価な固有値分解を回避している。
• 理論的保証は、$\mathcal{C}^\prime$ に $\ell_1$-ノルム制約が含まれる場合（例えばスパースPCA や位相リカバリーにおいて）でも、適切な仮定のもとで成立する。