[论文解读] A General System for Heuristic Solution of Convex Problems over Nonconvex Sets

Steven Diamond, Reza Takapoui+1 more|arXiv (Cornell University)|Jan 27, 2016

Advanced Optimization Algorithms Research参考文献 91被引用 20

一句话总结

本文提出了一种通用启发式框架，用于求解具有非凸约束的凸优化问题，采用凸松弛、凸限制、局部邻域搜索和ADMM方法。该方法在NCVX软件包中实现，通过极少的调参即可高效找到各类非凸问题的高质量近似解，在混合整数规划、基数约束问题、图同构、相位恢复和数独问题上表现出色。

ABSTRACT

We describe general heuristics to approximately solve a wide variety of problems with convex objective and decision variables from a nonconvex set. The heuristics, which employ convex relaxations, convex restrictions, local neighbor search methods, and the alternating direction method of multipliers (ADMM), require the solution of a modest number of convex problems, and are meant to apply to general problems, without much tuning. We describe an implementation of these methods in a package called NCVX, as an extension of CVXPY, a Python package for formulating and solving convex optimization problems. We study several examples of well known nonconvex problems, and show that our general purpose heuristics are effective in finding approximate solutions to a wide variety of problems.

研究动机与目标

• 开发一种通用启发式方法，用于求解具有非凸约束的凸优化问题，适用于多种问题类别且无需大量调参。
• 利用凸松弛和限制来提升具有结构化约束的非凸问题的收敛性和解的质量。
• 通过结合凸优化技术与启发式局部搜索及ADMM，实现对困难非凸问题的高效求解。
• 提供一个统一且可扩展的框架，通过高级接口实现，如在CVXPY中实现的NCVX软件包。
• 在一系列基准非凸问题上展示该方法的有效性，包括混合整数规划和组合优化任务。

提出的方法

• 该方法使用非凸集 $\mathcal{C}$ 的凸松弛，例如 $\{0,1\}^q$ 的 $0 \leq z_i \leq 1$，以获得下界并改善收敛性。
• 在可行点上应用凸限制以引导局部搜索，确保迭代点保持在非凸集附近。
• 使用离散距离度量执行局部邻域搜索，以探索非凸集中的邻近可行点。
• 使用交替方向乘子法（ADMM）求解松弛子问题，实现分解与高效计算。
• 该框架在NCVX中实现，作为CVXPY的扩展，允许用户通过投影或限制预言机定义带有非凸约束的问题。
• 应用了松弛-舍入-精炼启发式作为基线，但NC-ADMM在复杂非凸问题上表现更优。

实验结果

研究问题

• RQ1 能否仅使用凸优化原语开发一种通用启发式系统，用于求解具有非凸约束的凸优化问题？
• RQ2 凸松弛和限制在提升非凸问题的收敛性和解质量方面有多有效？
• RQ3 基于ADMM的分解与局部邻域搜索能否在困难非凸问题上超越标准的松弛-舍入-精炼启发式？
• RQ4 在多种非凸问题类别中，能否构建一个几乎无需调参的统一框架？
• RQ5 该方法能否可靠地以高质量近似解求解图同构、相位恢复和数独等问题？

主要发现

• NC-ADMM在所有测试案例中成功找到了同构图之间的置换矩阵（例如，Peterson图、二十面体图、十二面体图），即使松弛问题存在非唯一解。
• 松弛-舍入-精炼启发式在所有测试的图同构问题中均未能找到解，而NC-ADMM成功实现了求解，证明了其更强的鲁棒性。
• 在相位恢复问题中，该方法通过利用凸松弛和ADMM，成功从仅含幅值的傅里叶测量中恢复了信号。
• 该框架通过将数独问题建模为带二值变量和基数约束的混合整数凸规划，成功求解了数独谜题。
• 在基数约束凸问题（如回归器选择）中，该方法表现出色，通过使用 $\|z\|_1 \leq kM$ 作为凸松弛。
• NCVX软件包实现了启发式的自动化、用户友好的实现，抽象了非凸集处理的复杂性。