[论文解读] Disciplined Multi-Convex Programming
本文提出Disciplined Multi-Convex Programming（DMCP），一种基于规则的建模框架，通过扩展有规则凸规划（DCP）原则，自动验证优化问题中的多凸性。该框架支持结构化、可验证的多凸问题建模，并通过块坐标下降法与求解器集成，在非负矩阵分解和双线性控制等基准问题上展现出易用性和具有竞争力的性能。
A multi-convex optimization problem is one in which the variables can be partitioned into sets over which the problem is convex when the other variables are fixed. Multi-convex problems are generally solved approximately using variations on alternating or cyclic minimization. Multi-convex problems arise in many applications, such as nonnegative matrix factorization, generalized low rank models, and structured control synthesis, to name just a few. In most applications to date the multi-convexity is simple to verify by hand. In this paper we study the automatic detection and verification of multi-convexity using the ideas of disciplined convex programming. We describe an implementation of our proposed method that detects and verifies multi-convexity, and then invokes one of the general solution methods.
研究动机与目标
- 为解决在机器学习、信号处理和控制等领域中常见的多凸优化问题中自动检测和验证多凸性的挑战。
- 将有规则凸规划（DCP）范式扩展至多凸问题，实现对变量块中凸性的正式验证。
- 提供一种系统化、基于规则的建模框架，简化问题表述，并向求解器暴露问题结构。
- 实现一个软件工具（DMCP），通过引入松弛变量处理不可行性，利用块坐标下降法启发式求解问题，同时验证多凸性。
提出的方法
- 提出一套新的规则集DMCP，扩展DCP以验证：当其他变量固定时，问题在任意变量子集上是否为凸。
- 设计一种高效算法，通过递归应用类似DCP的规则，分析并验证在任意变量固定条件下问题的凸性。
- 将DMCP与CVXPY集成，构建一个Python包，可解析、验证并利用块坐标下降法（BCD）求解多凸问题。
- 通过引入松弛变量和广义不等式，增强BCD算法在非凸设置下的不可行性处理能力和收敛性。
- 采用函数和约束的分层分解方法，检查在其他变量取固定值时每个变量块的凸性。
- 利用自动微分和符号分析技术，无需手动推导即可验证凸性。
实验结果
研究问题
- RQ1能否设计一种有规则的编程框架，以自动验证优化问题中的多凸性？
- RQ2有规则凸规划（DCP）的原则如何扩展以处理具有结构化变量划分的多凸问题？
- RQ3自动凸性验证对多凸优化模型的可用性和正确性有何影响？
- RQ4此类框架的软件实现能否在真实问题上达到与定制求解器相当的性能？
主要发现
- DMCP框架在广泛问题中成功验证了多凸性，包括非负矩阵分解、双线性控制和电阻估计，且具有形式化保证。
- DMCP的实现（一个扩展CVXPY的Python包）允许用户使用高层级、人类可读的语法指定问题，同时确保结构正确性。
- 数值结果表明，DMCP的求解质量与定制求解器相当，例如在D.C.-电机制动问题中，制动速度优于线性控制系统。
- BCD求解器中使用松弛变量显著提升了对不可行性的鲁棒性，并在非凸设置下实现了收敛。
- 该框架能够自动检测在人工验证可能复杂或易出错的问题中的多凸结构。
- 该方法可扩展至包含数百个变量的问题，如M=8的100个时间步长双线性控制示例所示。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。