[论文解读] A Riemannian low-rank method for optimization over semidefinite matrices with block-diagonal constraints

Nicolas Boumal|arXiv (Cornell University)|Jun 1, 2015

Sparse and Compressive Sensing Techniques参考文献 57被引用 50

一句话总结

本文提出了一种黎曼低秩优化方法，用于求解具有块对角恒等约束的半定规划问题，通过利用低秩矩阵流形的光滑几何结构，高效地找到二阶临界点。该方法称为“阶梯法”（staircase method），在 Max-Cut 和排列恢复等任务中，即使在高达 80% 的噪声测量下，也实现了数量级的速度提升和更高的精度，通过动态调整解空间的秩，同时确保收敛到有界秩的 KKT 点。

ABSTRACT

We propose a new algorithm to solve optimization problems of the form $\min f(X)$ for a smooth function $f$ under the constraints that $X$ is positive semidefinite and the diagonal blocks of $X$ are small identity matrices. Such problems often arise as the result of relaxing a rank constraint (lifting). In particular, many estimation tasks involving phases, rotations, orthonormal bases or permutations fit in this framework, and so do certain relaxations of combinatorial problems such as Max-Cut. The proposed algorithm exploits the facts that (1) such formulations admit low-rank solutions, and (2) their rank-restricted versions are smooth optimization problems on a Riemannian manifold. Combining insights from both the Riemannian and the convex geometries of the problem, we characterize when second-order critical points of the smooth problem reveal KKT points of the semidefinite problem. We compare against state of the art, mature software and find that, on certain interesting problem instances, what we call the staircase method is orders of magnitude faster, is more accurate and scales better. Code is available.

研究动机与目标

• 解决涉及正交矩阵的非凸优化问题的计算不可行性，例如在相位恢复、Max-Cut 和排列恢复中出现的问题。
• 通过利用解空间中的低秩结构，克服内点法（IPMs）在半定规划（SDPs）中面临的可扩展性限制。
• 开发一种在低秩流形上运行的黎曼优化框架，以高效计算对应于原始半定松弛问题 KKT 点的二阶临界点。
• 为松弛问题的解提供确定性的秩界，确保仅需探索低维流形即可实现最优性。
• 通过实证验证该方法在真实问题实例中，特别是在高异常值率情况下，相较于成熟求解器在速度、精度和抗噪性方面的优越性。

提出的方法

• 将原始非凸问题表述为在乘积 Stiefel 流形 $ \mathrm{St}(d,p)^m $ 上最小化光滑函数 $ f(YY^ op) $，其中 $ Y $ 的行具有正交性。
• 将问题提升至在谱单纯形 $ \mathcal{C} = \{ X \succeq 0, X_{ii} = I_d \} $ 上的半定规划（SDP），隐含秩约束为 $ \operatorname{rank}(X) \leq p $。
• 在低秩流形 $ \mathrm{St}(d,p)^m $ 上使用黎曼优化直接求解非凸问题，避免全秩稠密矩阵运算。
• 引入“阶梯法”，从低秩 $ p = d+1 $ 开始，仅在必要时根据收敛到二阶临界点的条件逐步增加秩。
• 利用黎曼几何与凸几何的洞察，刻画低秩流形上二阶临界点对应于完整半定问题 KKT 点的条件。
• 应用黎曼信赖域（RTR）结合线搜索，确保收敛至二阶临界点，并在递减的正则化参数 $ \varepsilon $ 值之间使用热启动。

实验结果

研究问题

• RQ1 在形式为 $ \mathrm{St}(d,p)^m $ 的低秩黎曼流形上的二阶临界点，是否能对应于具有块对角恒等约束的完整半定松弛问题的 KKT 点？
• RQ2 为保证低秩流形上的二阶临界点对应于原始问题的 KKT 点，必须考虑的最小秩 $ p^* $ 是多少？
• RQ3 与成熟的求解器（如 IPMs 和 ADM）相比，所提出的黎曼低秩方法在非凸 SDP 松弛问题中的速度、精度和抗噪性表现如何？
• RQ4 该方法是否能在高噪声环境下（例如高达 80% 的随机异常值）实现完美恢复，同时保持计算效率并收敛至全局解类似的解？
• RQ5 是否可能在低秩流形上计算出不仅是 KKT 点，而且能排除虚假局部极小值的二阶临界点，尤其对于非凸代价函数？

主要发现

• 阶梯法在 Max-Cut 和排列恢复等任务中，相比最先进的求解器（如 IPMs 和 ADM），实现了数量级的速度提升和更高的精度。
• 对于高达 80% 随机异常值的问题，采用伪-Huber 损失的该方法实现了近乎完美的恢复（均方误差 < $ 10^{-6} $），并收敛至秩-$ d $ 的二阶临界点。
• 该方法收敛至一个二阶临界点，满足 $ \sigma_{d+1}(Y) \approx 10^{-10} $，$ \|\mathrm{grad}\,g(Y)\| \leq 10^{-6} $，且 $ \lambda_{\min}(\mathrm{Hess}\,g(Y)) \geq -10^{-10} $，表明其为高质量的 KKT 点。
• 理论分析表明，仅需考虑秩 $ p^* = \frac{\sqrt{1+4md(d+1)}-1}{2} < (d+1)\sqrt{m} \ll n $，为最优性提供了确定性的秩界。
• 实证结果表明，即使在高噪声环境下，该方法也无需将 $ p $ 增加至 $ d+1 $ 以上即可识别全局最优解，表明全局解位于低秩子空间中。
• 该方法在可扩展性上显著优于 IPMs，后者在中等规模实例上已耗尽内存，同时在噪声和组合优化问题上保持了更优的性能。