[论文解读] A Grothendieck-type inequality for local maxima

Andrea Montanari|arXiv (Cornell University)|Mar 13, 2016

Point processes and geometric inequalities参考文献 1被引用 10

一句话总结

本文为秩约束半定规划中的局部极大值建立了一个格罗滕迪克型不等式，证明了在球面流形上的非凸问题的所有局部最优解与真实SDP最优解之间的误差为 $ O(n\|\mathbf{A}\|_2 / \sqrt{k}) $。该结果解释了低秩非凸优化在大规模问题（如图聚类）中经验成功的机制，表明当 $ \|\mathbf{A}\|_2 = \Theta(1) $ 且 $ \text{SDP}(\mathbf{A}) = \Theta(n) $ 时，仅需常数 $ k $ 即可实现任意小的相对误差。

ABSTRACT

A large number of problems in optimization, machine learning, signal processing can be effectively addressed by suitable semidefinite programming (SDP) relaxations. Unfortunately, generic SDP solvers hardly scale beyond instances with a few hundreds variables (in the underlying combinatorial problem). On the other hand, it has been observed empirically that an effective strategy amounts to introducing a (non-convex) rank constraint, and solving the resulting smooth optimization problem by ascent methods. This non-convex problem has --generically-- a large number of local maxima, and the reason for this success is therefore unclear. This paper provides rigorous support for this approach. For the problem of maximizing a linear functional over the elliptope, we prove that all local maxima are within a small gap from the SDP optimum. In several problems of interest, arbitrarily small relative error can be achieved by taking the rank constraint $k$ to be of order one, independently of the problem size.

研究动机与目标

• 为了严格证明秩约束非凸优化在求解大规模半定规划问题中的经验成功。
• 为了分析秩约束问题 $ \max_{\mathbf{\sigma} \in \mathcal{S}(n,k)} F_{\mathbf{A}}(\mathbf{\sigma}) $ 中局部极大值的质量，其中 $ \mathcal{S}(n,k) $ 是 $ k-1 $ 个球面的乘积。
• 为了建立局部极大值与真实SDP最优解之间的定量差距，表明该差距随 $ k $ 增大而减小。
• 为了为在低秩流形上使用梯度或坐标上升法提供理论支持，尽管存在非凸性和大量局部极大值。
• 为了证明对于许多感兴趣的问题（包括 $ \mathbb{Z}_2 $ 同步和稀疏随机块模型），常数 $ k $ 即可实现任意小的相对误差。

提出的方法

• 将秩约束SDP表述为在流形 $ \mathcal{S}(n,k) \simeq (S^{k-1})^n $ 上的光滑优化问题，由单位向量 $ \mathbf{\sigma}_i \in \mathbb{R}^k $ 参数化。
• 定义目标函数 $ F_{\mathbf{A}}(\mathbf{\sigma}) = \sum_{i,j} A_{ij} \langle \mathbf{\sigma}_i, \mathbf{\sigma}_j \rangle $，其对应于在椭圆体上具有秩-$ k $ 约束的线性泛函。
• 利用二阶平稳性条件分析 $ F_{\mathbf{A}} $ 的局部极大值，通过谱分解和扰动分析推导出界。
• 通过引入向量 $ \mathbf{z} $ 和投影 $ \tilde{\mathbf{u}}_i $，将解分解为低秩分量和残差分量，以控制误差项。
• 应用矩阵范数不等式（包括核范数和Frobenius范数界），以控制残差分量引入的误差。
• 利用柯西-施瓦茨不等式和谱界推导出最终的差距估计 $ F_{\mathbf{A}}(\mathbf{\sigma}) \geq \text{SDP}(\mathbf{A}) - \frac{8}{\sqrt{k}} n \|\mathbf{A}\|_2 $，证明所有局部极大值的近似最优性。

实验结果

研究问题

• RQ1 为何在低秩流形上使用梯度或坐标上升法时，尽管存在非凸性和大量局部极大值，仍能持续找到接近SDP最优解的解？
• RQ2 秩约束问题的任意局部极大值与真实SDP最优解之间的最坏情况近似差距是多少？
• RQ3 近似误差能否独立于问题规模 $ n $ 进行有界控制？其与秩 $ k $ 的关系如何？
• RQ4 对于 $ \mathbb{Z}_2 $ 同步或稀疏随机块模型等问题，选择多大的 $ k $ 可确保实现任意小的相对误差？
• RQ5 高秩情形下（如Burer-Monteiro方法）不存在虚假局部极大值的现象，是否解释了低 $ k $ 时的成功？抑或存在其他机制？

主要发现

• 所有秩约束问题 $ \text{OPT}_k(\mathbf{A}) $ 的局部极大值与真实SDP最优解 $ \text{SDP}(\mathbf{A}) $ 的差距不超过 $ \frac{8}{\sqrt{k}} n \|\mathbf{A}\|_2 $，如定理1所形式化。
• 对于满足 $ \|\mathbf{A}\|_2 = \Theta(1) $ 且 $ \text{SDP}(\mathbf{A}) = \Theta(n) $ 的问题，通过选择与 $ n $ 无关的常数 $ k $，可使相对误差 $ \frac{\text{SDP}(\mathbf{A}) - F_{\mathbf{A}}(\mathbf{\sigma})}{\text{SDP}(\mathbf{A})} $ 任意小。
• 在 $ \mathbb{Z}_2 $ 同步问题中，相对误差被控制在 $ O(1/\sqrt{k}) $ 内，且 $ k=20 $ 即可实现高概率信号恢复。
• 对于稀疏随机块模型，通过修改图结构，可将所需 $ k $ 降低至 $ O(1) $，优于直接应用时的 $ k = C\sqrt{\log n / \log \log n} $ 边界。
• 该证明依赖于二阶平稳性、谱分解，以及通过 $ \ell_2 $ 和核范数界对残差分量的精细控制。
• 最终界 $ \langle \mathbf{v}, \mathbf{A} \mathbf{v} \rangle \leq F_{\mathbf{A}}(\mathbf{\sigma}) + \frac{5\sqrt{2}}{\sqrt{k}} n \|\mathbf{A}\|_2 $（其中 $ 5\sqrt{2} < 8 $）确认了所陈述的差距。