[論文レビュー] Smoothed analysis for low-rank solutions to semidefinite programs in quadratic penalty form

Srinadh Bhojanapalli, Nicolas Boumal+2 more|arXiv (Cornell University)|Mar 1, 2018

Sparse and Compressive Sensing Techniques参考文献 20被引用数 16

ひとこと要約

本稿では、Burer–Monteiro因子分解内での二次ペナルティ定式化を用いて、半定値計画問題（SDP）の低ランク解に対する滑らかさ解析フレームワークを提案する。$ k = \tilde{\Omega}(\sqrt{m}) $ の場合、ペナルティ付きで摂動を加えた問題のすべての2次停留点（SOSPs）が、確率的摂動によって病理的ケースを回避しながら近似的に最適であることが示されている。

ABSTRACT

Semidefinite programs (SDP) are important in learning and combinatorial optimization with numerous applications. In pursuit of low-rank solutions and low complexity algorithms, we consider the Burer--Monteiro factorization approach for solving SDPs. We show that all approximate local optima are global optima for the penalty formulation of appropriately rank-constrained SDPs as long as the number of constraints scales sub-quadratically with the desired rank of the optimal solution. Our result is based on a simple penalty function formulation of the rank-constrained SDP along with a smoothed analysis to avoid worst-case cost matrices. We particularize our results to two applications, namely, Max-Cut and matrix completion.

研究の動機と目的

• 低ランク因子分解による変数次元の低減を通じて、大規模な半定値計画問題（SDP）を効率的に解く挑戦に応えること。
• Burer–Monteiro因子分解されたSDP定式化における非凸性と制約の複雑さを克服すること。
• ペナルティ付き因子分解問題の2次停留点（SOSPs）がグローバル最適である条件を確立すること。
• 滑らかさ解析を用いて、劣悪な最適解を生じるレアな病理的コスト行列の集合を回避すること。
• 境界付き残留誤差と摂動された目的関数下での実用的かつ近似的最適解へ理論的保証を拡張すること。

提案手法

• Burer–Monteiro因子分解を用いてランク制約付きSDPを定式化：$ X = UU^T $ により、変数数を $ O(n^2) $ から $ O(nk) $ に削減する。
• 制約に二次ペナルティを適用し、問題を $ \min_U L_\mu(U) = \langle C, UU^T \rangle + \mu \sum_i (\langle A_i, UU^T \rangle - b_i)^2 $ に変換する。
• コスト行列 $ C $ に独立同一分布のガウスノイズを追加することで滑らかさ解析を実施し、高確率ですべてのSOSPsが近似的に最適であることを保証する。
• 勾配とヘッセ行列の条件を用いて2次停留点（SOSPs）を分析：勾配ノルムが小さく、ヘッセ行列の最小の負の曲率が小さいこと。
• 摂動理論と特異値ノルムを用いて、解の残留誤差（制約違反）と目的関数の最適性の劣化に関する境界を確立する。
• 収束保証付きの勾配降下法を適用：$ (\epsilon, \rho^2) $-SOSP に到達するまでに $ \widetilde{O}(1/\epsilon^2) $ 回の反復を要し、Nesterov加速を用いることで $ \widetilde{O}(1/\epsilon^{1.75}) $ に改善される。

実験結果

リサーチクエスチョン

• RQ1 ペナルティ付き因子分解SDPのすべての2次停留点（SOSPs）がグローバル最適である条件は何か？
• RQ2 滑らかさ解析により、劣悪なSOSPsを生じる病理的コスト行列の集合を排除できるか？
• RQ3 コスト行列に確率的摂動を加えた後、ペナルティ付き問題のSOSPsが近似的に最適であるために必要な最小ランク $ k $ は何か？
• RQ4 ペナルティ付き因子分解定式化における勾配ベースの手法の収束速度は、問題パラメータにどのように依存するか？
• RQ5 理論的保証を、ペナルティ付き摂動問題（4）から元のSDP（1）に拡張できるか？

主な発見

• $ k = \tilde{\Omega}(\sqrt{m}) $ の場合、ペナルティ付き摂動問題のすべての2次停留点（SOSPs）が高確率で近似的に最適である。
• 摂動勾配法は $ \widetilde{O}(1/\epsilon^2) $ 回の反復で $ (\epsilon, \rho^2) $-SOSP に収束し、Nesterov加速を用いることで $ \widetilde{O}(1/\epsilon^{1.75}) $ に改善される。
• ヘッセ行列が有界で、コスト行列に独立同一分布のガウスノイズが加えられた場合、すべてのSOSPsは残留誤差が有界であり、近似的に最適である。
• 正定値コスト行列とコンパクトなSDPに対しては、ペナルティ付き問題のSOSPsは有界な解（残留誤差）を持つため、安定性が保証される。
• 弱い条件下でも、元のSDP（1）に対して近似的最適性が達成され、理論的保証はMax-Cutや行列補完への応用へ拡張可能である。
• 計算複雑度は、密行列問題では1反復あたり $ O(mn^2k) $ であるが、制約行列のスパarsityにより、スパースな状況では顕著に低減される。