[论文解读] Block-Coordinate Minimization for Large SDPs with Block-Diagonal Constraints

Yulun Tian, Kasra Khosoussi+1 more|arXiv (Cornell University)|Mar 2, 2019

Advanced Optimization Algorithms Research参考文献 16被引用 4

一句话总结

该论文将具有全局收敛性保证的块坐标最小化（BCM）方法扩展至Stiefel流形的笛卡尔积上，实现了对具有块对角约束的大规模半定规划（SDP）的可扩展求解。该方法在黎曼梯度范数上实现了 $ O(1/k) $ 的全局收敛速率，适用于旋转与姿态同步等应用。

ABSTRACT

The so-called Burer-Monteiro method is a well-studied technique for solving large-scale semidefinite programs (SDPs) via low-rank factorization. The main idea is to solve rank-restricted, albeit non-convex, surrogates instead of the SDP. Recent works have shown that, in an important class of SDPs with elegant geometric structure, one can find globally optimal solutions to the SDP by finding rank-deficient second-order critical points of an unconstrained Riemannian optimization problem. Hence, in such problems, the Burer-Monteiro approach can provide a scalable and reliable alternative to interior-point methods that scale poorly. Among various Riemannian optimization methods proposed, block-coordinate minimization (BCM) is of particular interest due to its simplicity. Erdogdu et al. in their recent work proposed BCM for problems over the Cartesian product of unit spheres and provided global convergence rate estimates for the algorithm. This report extends the BCM algorithm and the global convergence rate analysis of Erdogdu et al. from problems over the Cartesian product of unit spheres to the Cartesian product of Stiefel manifolds. The latter more general setting has important applications such as synchronization over the special orthogonal (SO) and special Euclidean (SE) groups.

研究动机与目标

• 解决具有块对角结构的大规模半定规划（SDP）问题中内点法的可扩展性局限。
• 将块坐标最小化（BCM）算法及其全局收敛性分析，从单位球面推广至更一般的Stiefel流形积 $ \mathrm{St}(d,r)^n $。
• 实现对SO(d)和SE(d)群上同步问题中出现的大规模SDP的高效可靠求解。
• 在均匀采样和重要性采样两种方案下，为Stiefel流形上的BCM提供理论收敛保证。
• 证明：当Riemannian问题的二阶临界点秩亏时，其对应于原SDP的全局最优解。

提出的方法

• 将SDP表述为在流形积 $ \mathrm{St}(d,r)^n $ 上的低秩优化问题，采用因子分解 $ X = Y^\top Y $。
• 将目标函数 $ F(Y) = \operatorname{tr}(QY^\top Y) $ 分解为块贡献 $ F_i(Y_i) = \langle G_i, Y_i \rangle $，其中 $ G_i = \sum_{j \neq i} Y_j Q_{[j,i]} $。
• 通过迭代优化一个块 $ Y_i $ 而固定其他块来应用块坐标最小化，利用SVD得到闭式解：$ Y_i^\star = U_i I_{r \times d} V_i^\top $，其中 $ -G_i = U_i \Sigma_i V_i^\top $。
• 采用两种采样策略：均匀采样（$ p_i = 1/n $）和重要性采样（$ p_i \propto \|G_i\|_* $）以选择块。
• 推导出期望平方黎曼梯度范数的全局收敛速率上界，表明在 $ O(1/\epsilon) $ 次迭代后满足 $ \mathbb{E}\|\operatorname{grad}F(Y^k)\|_F^2 \leq \epsilon $。
• 利用矩阵范数不等式和特征值/奇异值交错性，对每次迭代的目标函数下降量进行上界估计。

实验结果

研究问题

• RQ1 块坐标最小化能否从单位球面的积推广至Stiefel流形积 $ \mathrm{St}(d,r)^n $，以求解大规模SDP？
• RQ2 在均匀采样和重要性采样下，BCM在 $ \mathrm{St}(d,r)^n $ 上的全局收敛速率如何确定？
• RQ3 当解为秩亏且为二阶临界点时，Riemannian BCM算法是否收敛至全局最优解？
• RQ4 收敛速率如何依赖于问题参数（如 $ d $、$ n $ 和 $ Q $ 的核范数）？
• RQ5 该算法能否有效应用于SO(d)和SE(d)上的大规模同步问题实例？

主要发现

• 所提出的在 $ \mathrm{St}(d,r)^n $ 上的BCM算法，其期望平方黎曼梯度范数的全局收敛速率为 $ O(1/k) $。
• 收敛上界依赖于问题规模，形式为 $ dnC_1(Q) $，其中 $ C_1(Q) = \sum_{i \neq j} \|Q_{[i,j]}\|_* $，以及初始目标函数差距。
• 重要性采样通过优先选择梯度贡献更高的块，提升了实际收敛速度。
• 当找到秩亏的二阶临界点时，该方法可保证全局最优性，因为此类点对应于原SDP的全局最优解。
• 理论分析表明，在弱假设下，该算法可避免鞍点，并以高概率收敛至临界点。
• 该方法可扩展至大规模问题，例如 $ d \times n > 10^4 $ 的姿态图优化问题，此时内点法已不可行。