[论文解读] A Survey of Recent Scalability Improvements for Semidefinite Programming with Applications in Machine Learning, Control, and Robotics

Anirudha Majumdar, Georgina Hall+1 more|arXiv (Cornell University)|Aug 14, 2019

Sparse and Compressive Sensing Techniques参考文献 113被引用 11

一句话总结

本综述回顾了在机器学习、控制和机器人领域中，扩展半定规划（SDP）的最新进展。它综合了四种关键技术——利用稀疏性和对称性、通过Burer-Monteiro方法和Frank-Wolfe方法进行低秩逼近、采用ADMM和增广拉格朗日算法，以及使用DSOS/SDSOS的保守逼近——展示了这些方法如何在保持理论保证和实际性能的同时，实现大规模SDP的高效求解。

ABSTRACT

Historically, scalability has been a major challenge to the successful application of semidefinite programming in fields such as machine learning, control, and robotics. In this paper, we survey recent approaches for addressing this challenge including (i) approaches for exploiting structure (e.g., sparsity and symmetry) in a problem, (ii) approaches that produce low-rank approximate solutions to semidefinite programs, (iii) more scalable algorithms that rely on augmented Lagrangian techniques and the alternating direction method of multipliers, and (iv) approaches that trade off scalability with conservatism (e.g., by approximating semidefinite programs with linear and second-order cone programs). For each class of approaches we provide a high-level exposition, an entry-point to the corresponding literature, and examples drawn from machine learning, control, or robotics. We also present a list of software packages that implement many of the techniques discussed in the paper. Our hope is that this paper will serve as a gateway to the rich and exciting literature on scalable semidefinite programming for both theorists and practitioners.

研究动机与目标

• 解决半定规划（SDP）长期存在的可扩展性挑战，该挑战限制了其在机器学习、控制和机器人等大规模应用中的使用。
• 系统性地分类和比较近年来提升SDP可扩展性的技术，包括结构利用、低秩逼近和保守松弛。
• 为理论研究者和实践者提供一个统一的可扩展SDP文献入口，包含应用实例和软件参考。
• 突出现代SDP求解器在计算效率、解的精度和理论保证之间的权衡。

提出的方法

• 利用弦图稀疏性和面消去法，从SDP约束中提取稀疏性和对称性，以减小问题规模和计算成本。
• 应用Burer-Monteiro分解，将SDP重述为低秩矩阵上的非凸问题，从而支持高效的黎曼优化和增广拉格朗日优化。
• 使用类似Frank-Wolfe的算法，迭代构建具有收敛性保证的低秩解，特别适用于稀疏或结构化问题。
• 实施ADMM和增广拉格朗日方法，将大规模SDP分解为更小、更易处理的子问题，提升内存效率并支持并行化。
• 通过DSOS和SDSOS程序对SDP进行逼近——使用二阶锥规划和线性规划的锥松弛——以实现更快、可扩展的解决方案，代价是一定程度的保守性。
• 集成自适应基变换和列生成技术，迭代改进DSOS/SDSOS逼近，提升解的质量，而无需完整求解SDP。

实验结果

研究问题

• RQ1 如何利用SDP约束中的稀疏性和对称性来降低计算复杂度和内存使用？
• RQ2 在保持最优性和收敛性保证的前提下，能否高效计算SDP的低秩近似解？
• RQ3 ADMM和增广拉格朗日方法能否有效应用于大规模SDP，以提升可扩展性和收敛性？
• RQ4 在用DSOS或SDSOS松弛替代SDP时，可扩展性与解的保守性之间的权衡如何？
• RQ5 DSOS/SDSOS方法的自适应改进如何在不付出完整SDP求解成本的前提下提升解的质量？

主要发现

• 在具有结构化稀疏模式的问题中（如多项式优化和控制中的问题），利用稀疏性和对称性可将SDP求解时间减少数个数量级。
• 结合黎曼优化的Burer-Monteiro方法可收敛至二阶临界点，对具有低秩解的大规模SDP问题非常有效。
• 基于Frank-Wolfe的方法（包括Hazan算法）具有次线性收敛速度，特别适用于稀疏或低秩结构的问题。
• 基于ADMM的求解器（如SCS和Pajarito）通过问题分解和迭代求解子问题，在大规模SDP中实现了高可扩展性。
• DSOS和SDSOS松弛提供了SDP的可扩展替代方案，具有多项式时间复杂度，在验证神经网络和求解鲁棒控制问题方面非常有效。
• 在DSOS/SDSOS中引入自适应基变换和列生成技术，可显著提升解的质量，实现更紧的逼近，同时保持计算效率。