[論文レビュー] The non-convex Burer-Monteiro approach works on smooth semidefinite programs

Nicolas Boumal, Vladislav Voroninski+1 more|arXiv (Cornell University)|Jun 15, 2016

Sparse and Compressive Sensing Techniques被引用数 42

ひとこと要約

この論文は、滑らかな半定値計画問題（SDP）を解く非凸な Burer-Monteiro 法が、弱い条件下でもグローバル収束することを確立している。具体的には、すべての第二階級臨界点が低ランク因子分解においてグローバルに最適である。主な結果は、ランクパラメータが制約数に関連する閾値を超えると、偽の局所的最適解がほとんど存在しないため、多様体上の局所的最適化が信頼できるようになることである。

ABSTRACT

Semidefinite programs (SDPs) can be solved in polynomial time by interior point methods, but scalability can be an issue. To address this shortcoming, over a decade ago, Burer and Monteiro proposed to solve SDPs with few equality constraints via rank-restricted, non-convex surrogates. Remarkably, for some applications, local optimization methods seem to converge to global optima of these non-convex surrogates reliably. Although some theory supports this empirical success, a complete explanation of it remains an open question. In this paper, we consider a class of SDPs which includes applications such as max-cut, community detection in the stochastic block model, robust PCA, phase retrieval and synchronization of rotations. We show that the low-rank Burer--Monteiro formulation of SDPs in that class almost never has any spurious local optima.

研究の動機と目的

• 非凸性にもかかわらず大規模な SDP を解く非凸 Burer-Monteiro アプローチの長年の経験的成功を解明すること。
• 低ランク因子分解における偽の局所的最適解が存在しない条件を形式的に確立すること。
• Burer-Monteiro 定式化における局所的最適化手法の信頼性の理論的根拠を明確にすること。
• 標準的な多様体最適化アルゴリズムによって達成可能な第二階級臨界点がグローバル最適性を保証することを示し、先行結果を強化すること。
• 低ランク探索空間の多様体構造に関する以前の仮定を是正・精錬し、厳密な幾何的基盤を確立すること。

提案手法

• 検索空間の次元を $ n \times n $ から $ n \times p $ に削減するために、$ X = YY^\top $ を用いて SDP を低ランク最適化問題に定式化する。
• 滑らかな埋め込み部分多様体であると仮定する、実行可能集合 $ \mathcal{M} = \{ Y \in \mathbb{R}^{n \times p} : \mathcal{A}(YY^\top) = b \} $ を定義する。
• より強い制約条件を導入する：すべての $ Y \in \mathcal{M} $ に対して、行列 $ A_1Y, \dots, A_mY $ が線形独立である。これにより、接空間 $ \mathrm{T}_Y\mathcal{M} $ が $ \{ \dot{Y} : \mathcal{A}(\dot{Y}Y^\top + Y\dot{Y}^\top) = 0 \} $ に等しくなることが保証される。
• 多様体 $ \mathcal{M} $ 上での一次および二次の最適性条件を分析し、すべての第二階級臨界点が低ランク問題においてグローバルに最適であることを示す。
• 微分幾何学的および安定性の議論を用いて、ほぼすべての目的行列 $ C $ に対して、低ランク定式化に偽の局所的最適解が存在しないことを証明する。
• 既知の多様体最適化アルゴリズムが第二階級臨界点に収束することを示し、提示された条件下でグローバル最適性が達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸 Burer-Monteiro 定式化が、どのような条件下で偽の局所的最適解を持たないか？
• RQ2 なぜ低ランク因子化における局所的最適化手法は、実際には信頼性高くグローバル最適解に収束するのか？
• RQ3 第二階級臨界点が Burer-Monteiro 問題においてグローバルに最適であることを保証する幾何学的・代数的仮定は何か？
• RQ4 ランクパラメータ $ p $ と制約数 $ m $ の関係は、偽の局所的最適解の不在を保証するためにどのように関係するか？
• RQ5 実行可能集合 $ \mathcal{M} $ の接空間の正しい特徴づけは何か？また、先行研究における仮定がなぜ不十分だったのか？

主な発見

• 強い制約条件のもとで、$ \frac{p(p+1)}{2} > m $ であれば、ほぼすべての目的行列 $ C $ に対して、低ランク Burer-Monteiro 問題に偽の局所的最適解が存在しない。
• 非凸問題のすべての第二階級臨界点が、元の SDP に対してグローバルに最適である。これは、局所的最適化手法がグローバル収束を達成できることを意味する。
• 修正された仮定——すべての $ Y \in \mathcal{M} $ に対して $ A_1Y, \dots, A_mY $ が線形独立であること——により、接空間の恒等式 $ \mathrm{T}_Y\mathcal{M} = \{ \dot{Y} : \mathcal{A}(\dot{Y}Y^\top + Y\dot{Y}^\top) = 0 \} $ が保証され、これは以前は誤って仮定されていた。
• この結果は、Max-Cut、コミュニティ検出、位相再構成、同期化問題を含む広範なクラスの SDP に適用可能である。
• 理論的保証は頑健である：問題は非凸であるが、偽の局所的最適解が存在しないため、効率的な局所的最適化が可能になる。
• 数値実験により、この方法の実用的効率性と信頼性が確認され、理論的結果と整合的である。