[論文レビュー] A Grothendieck-type inequality for local maxima

Andrea Montanari|arXiv (Cornell University)|Mar 13, 2016

Point processes and geometric inequalities参考文献 1被引用数 10

ひとこと要約

本稿は、ランク制約付き半定値計画法における局所最適解に関するグローテンディーク型不等式を確立し、球面多様体上での非凸問題のすべての局所最適解が、真のSDP最適解から $ O(n\|\mathbf{A}\|_2 / \sqrt{k}) $ の誤差内に存在することを証明する。この結果は、グラフクラスタリングなどの大規模問題における低ランク非凸最適化の経験的成功を説明しており、$ \|\mathbf{A}\|_2 = \Theta(1) $ かつ $ \text{SDP}(\mathbf{A}) = \Theta(n) $ の場合、相対誤差を任意に小さくするために定数 $ k $ で十分であることを示している。

ABSTRACT

A large number of problems in optimization, machine learning, signal processing can be effectively addressed by suitable semidefinite programming (SDP) relaxations. Unfortunately, generic SDP solvers hardly scale beyond instances with a few hundreds variables (in the underlying combinatorial problem). On the other hand, it has been observed empirically that an effective strategy amounts to introducing a (non-convex) rank constraint, and solving the resulting smooth optimization problem by ascent methods. This non-convex problem has --generically-- a large number of local maxima, and the reason for this success is therefore unclear. This paper provides rigorous support for this approach. For the problem of maximizing a linear functional over the elliptope, we prove that all local maxima are within a small gap from the SDP optimum. In several problems of interest, arbitrarily small relative error can be achieved by taking the rank constraint $k$ to be of order one, independently of the problem size.

研究の動機と目的

• 大規模半定値計画問題を解く際のランク制約付き非凸最適化の経験的成功を、厳密に正当化すること。
• $ \mathbf{\sigma} \in \mathcal{S}(n,k) $ におけるランク制約付き問題 $ \max_{\mathbf{\sigma} \in \mathcal{S}(n,k)} F_{\mathbf{A}}(\mathbf{\sigma}) $ の局所最適解の品質を分析すること。ここで $ \mathcal{S}(n,k) $ は $ k-1 $ 次元球面の直積である。
• 局所最適解と真のSDP最適解との間の定量的ギャップを確立し、このギャップが $ k $ の増加に伴って小さくなることを示すこと。
• 非凸性と局所最適解の多さにもかかわらず、低ランク多様体上での勾配上昇または座標上昇法の使用に理論的根拠を与えること。
• $ \mathbb{Z}_2 $ 同期化やスパースストークスティックブロックモデルを含む、多くの関心のある問題において、定数 $ k $ が任意に小さい相対誤差を達成するために十分であることを示すこと。

提案手法

• 単位ベクトル $ \mathbf{\sigma}_i \in \mathbb{R}^k $ を用いてパラメータ化された多様体 $ \mathcal{S}(n,k) \simeq (S^{k-1})^n $ 上での滑らかな最適化問題としてランク制約付きSDPを定式化する。
• 目的関数 $ F_{\mathbf{A}}(\mathbf{\sigma}) = \sum_{i,j} A_{ij} \langle \mathbf{\sigma}_i, \mathbf{\sigma}_j \rangle $ を定義し、ランク-$ k $ 制約付きの楕円体上での線形関数に相当することを示す。
• 2次の停留在条件を用いて $ F_{\mathbf{A}} $ の局所最適解を分析し、スペクトル分解と摂動解析を用いて境界を導出する。
• 解を低ランク成分と残差に分解し、ベクトル $ \mathbf{z} $ と射影 $ \tilde{\mathbf{u}}_i $ を用いて誤差項を制御する。
• 核ノルムとフロベニウスノルムの不等式を適用し、残差成分がもたらす誤差を制御する。
• コーシー・シュワルツとスペクトル境界を用いて、最終的なギャップ推定 $ F_{\mathbf{A}}(\mathbf{\sigma}) \geq \text{SDP}(\mathbf{A}) - \frac{8}{\sqrt{k}} n \|\mathbf{A}\|_2 $ を導出し、すべての局所最適解が近似的に最適であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 非凸性と局所最適解の多さにもかかわらず、なぜ低ランク多様体上での勾配上昇または座標上昇法が、常にSDP最適解に近い解を一貫して見つけることができるのか？
• RQ2 ランク制約付き問題の任意の局所最適解と真のSDP最適解との間の最悪ケースギャップは何か？
• RQ3 問題サイズ $ n $ に依存しない誤差境界は得られるか？また、この誤差はランク $ k $ とどのようにスケーリングされるか？
• RQ4 $ \mathbb{Z}_2 $ 同期化やスパースストークスティックブロックモデルのような問題において、任意に小さい相対誤差を達成するために必要な $ k $ の値は何か？
• RQ5 ブルール＝モンテーロの結果が示す高ランク領域における偽の局所最適解の不在が、低 $ k $ での成功を説明しているのか、それとも別のメカニズムが存在するのか？

主な発見

• ランク制約付き問題 $ \text{OPT}_k(\mathbf{A}) $ のすべての局所最適解は、真のSDP最適解 $ \text{SDP}(\mathbf{A}) $ から $ \frac{8}{\sqrt{k}} n \|\mathbf{A}\|_2 $ の誤差内に存在する。これは定理1で形式化されている。
• $ \|\mathbf{A}\|_2 = \Theta(1) $ かつ $ \text{SDP}(\mathbf{A}) = \Theta(n) $ である問題では、$ n $ とは無関係に定数 $ k $ を選ぶことで、相対誤差 $ \frac{\text{SDP}(\mathbf{A}) - F_{\mathbf{A}}(\mathbf{\sigma})}{\text{SDP}(\mathbf{A})} $ を任意に小さくできる。
• $ \mathbb{Z}_2 $ 同期化問題では、相対誤差は $ O(1/\sqrt{k}) $ で抑えられ、$ k=20 $ で高確率で信号を回復可能である。
• スパースストークスティックブロックモデルでは、グラフを変更することで必要な $ k $ を $ O(1) $ にまで低減でき、単純な適用による $ k = C\sqrt{\log n / \log \log n} $ の境界を上回る。
• 証明は2次停留在条件、スペクトル分解、および $ \ell_2 $ と核ノルムの境界を用いた残差成分のきめ細やかな制御に依存している。
• 最終的な境界 $ \langle \mathbf{v}, \mathbf{A} \mathbf{v} \rangle \leq F_{\mathbf{A}}(\mathbf{\sigma}) + \frac{5\sqrt{2}}{\sqrt{k}} n \|\mathbf{A}\|_2 $（$ 5\sqrt{2} < 8 $）により、提示されたギャップが確認される。