[論文レビュー] Solving SDPs for synchronization and MaxCut problems via the Grothendieck inequality

Mei Song, Theodor Misiakiewicz+2 more|arXiv (Cornell University)|Mar 25, 2017

Sparse and Compressive Sensing Techniques参考文献 23被引用数 35

ひとこと要約

本稿は、MaxCutおよび同期化問題に由来するランク制約付き半定値計画（SDP）に対して、グローテンディーク型不等式を確立し、ランクが定数である場合、すべての局所最適解がグローバル最適解からの小さな乗法的ギャップ内にあることを証明する。ランク $k$ における MaxCut に対して、非凸なランク制約付き問題におけるリーマン的trust-region法が $(1 - 1/(k-1)) \times 0.878$ の近似解を達成できることを示し、やや緩い条件下でも近似的に最適解に収束することを保証し、低ランクソルバの経験的成功を説明する。

ABSTRACT

A number of statistical estimation problems can be addressed by semidefinite programs (SDP). While SDPs are solvable in polynomial time using interior point methods, in practice generic SDP solvers do not scale well to high-dimensional problems. In order to cope with this problem, Burer and Monteiro proposed a non-convex rank-constrained formulation, which has good performance in practice but is still poorly understood theoretically. In this paper we study the rank-constrained version of SDPs arising in MaxCut and in synchronization problems. We establish a Grothendieck-type inequality that proves that all the local maxima and dangerous saddle points are within a small multiplicative gap from the global maximum. We use this structural information to prove that SDPs can be solved within a known accuracy, by applying the Riemannian trust-region method to this non-convex problem, while constraining the rank to be of order one. For the MaxCut problem, our inequality implies that any local maximizer of the rank-constrained SDP provides a $ (1 - 1/(k-1)) imes 0.878$ approximation of the MaxCut, when the rank is fixed to $k$. We then apply our results to data matrices generated according to the Gaussian ${\mathbb Z}_2$ synchronization problem, and the two-groups stochastic block model with large bounded degree. We prove that the error achieved by local maximizers undergoes a phase transition at the same threshold as for information-theoretically optimal methods.

研究の動機と目的

• 大規模なMaxCutおよび同期化問題における低ランク非凸SDPソルバの経験的成功を説明すること。
• 局所最適解に関するグローテンディーク型不等式を証明することで、ランク制約付きSDPの理論的保証を確立すること。
• 非凸的かつ低ランクな問題に対するリーマン的trust-region法が、グローバル最適解からの既知の近似ギャップ内に収束することを示すこと。
• 同期化問題における局所最適解の位相転移行動を分析し、情報理論的に最適な手法の閾値と比較すること。

提案手法

• MaxCutおよび ${\rm SO}(d)$-同期化問題におけるランク制約付きSDPの局所最適解とグローバル最適解のギャップを制限するグローテンディーク型不等式を導出する。
• 各行のフロベニウスノルムが1に等しいランク-$k$行列の多様体上で、非凸問題を解くためにリーマン的trust-region（RTR）法を用いる。
• 曲率と勾配の振る舞いを分析することで収束速度を確立し、RTRアルゴリズムにおける固有値ステップと勾配ステップを区別する。
• 3階微分とヘッセの曲率に関する境界を適用し、各反復における最大曲率の下界を導出し、最適性からのギャップと結びつける。
• 問題の構造を活用して、ランクが $k$ の場合のMaxCutにおける近似ギャップが $ (1 - 1/(k-1)) \times 0.878 $ であることを証明する。
• ${\mathbb{Z}}_{2}$ 同期化および2グループのストークスティックブロックモデルにこのフレームワークを適用し、位相転移閾値が最適手法と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 MaxCutおよび同期化問題の低ランク非凸SDP定式化における局所最適解に対して、グローテンディーク型不等式を確立できるか？
• RQ2 ランク制約付き多様体上でのリーマン的trust-region法が、これらの問題においてグローバル最適解からの定数倍のギャップ内に収束するか？
• RQ3 ランク制約付きMaxCut問題における局所最適解の近似品質は何か？また、ランク $k$ と共にどのように変化するか？
• RQ4 ${\mathbb{Z}}_{2}$ 同期化およびストークスティックブロックモデルにおける局所最適解は、情報理論的に最適な手法と同一の閾値で誤差率の位相転移を示すか？

主な発見

• MaxCut問題において、ランク-$k$ の非凸SDPの任意の局所最適解は、グローバル最適解の $ (1 - 1/(k-1)) \times 0.878 $ の近似を与える。
• リーマン的trust-region法は、$ T = \tilde{O}(n \max(\|A\|_2^2/\varepsilon^2, \|A\|_1/\varepsilon)) $ 回の反復で、最適値から $ \varepsilon $ 以内の解に収束する。ここで $ \tilde{O} $ は対数要因を隠している。
• MaxCutにおける近似ギャップは $ \frac{1}{k-1}(\text{SDP}(A) + \text{SDP}(-A)) $ で抑えられ、$ k = O(1) $ のとき小さくなる。
• ${\mathbb{Z}}_{2}$ 同期化問題において、大きな有界次数を持つ場合、局所最適解の誤差は、情報理論的に最適な手法と同一の閾値で位相転移を示す。
• 収束速度は $ O(\|A\|_1 n \sqrt{n/T}) $ のオーダーであり、ヘッセの曲率が大きい場合には改善される。
• 解析により、ランク $ k = O(1) $ のリーマン的trust-region法が、大規模なMaxCutおよび同期化問題において理論的に正当化されることが確認された。