[论文解读] Disciplined Convex-Concave Programming

Xinyue Shen, Steven Diamond+2 more|arXiv (Cornell University)|Apr 10, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用 10

一句话总结

本文提出了纪律性凸-凹规划（DCCP），一种将纪律性凸规划（DCP）扩展至具有凸-凸结构的非凸问题的框架。通过整合领域感知函数处理与基于次梯度的凸化方法，DCCP利用基于惩罚的凸-凹过程，实现了对DC规划问题的自动化、可靠求解，其Python库扩展了CVXPY，显著提升了真实应用场景中优化的鲁棒性与可扩展性。

ABSTRACT

In this paper we introduce disciplined convex-concave programming (DCCP), which combines the ideas of disciplined convex programming (DCP) with convex-concave programming (CCP). Convex-concave programming is an organized heuristic for solving nonconvex problems that involve objective and constraint functions that are a sum of a convex and a concave term. DCP is a structured way to define convex optimization problems, based on a family of basic convex and concave functions and a few rules for combining them. Problems expressed using DCP can be automatically converted to standard form and solved by a generic solver; widely used implementations include YALMIP, CVX, CVXPY, and Convex.jl. In this paper we propose a framework that combines the two ideas, and includes two improvements over previously published work on convex-concave programming, specifically the handling of domains of the functions, and the issue of nondifferentiability on the boundary of the domains. We describe a Python implementation called DCCP, which extends CVXPY, and give examples.

研究动机与目标

• 为解决现有凸-凹规划（CCP）方法的局限性，特别是因函数定义域越界或在边界处不可微而导致的失败问题。
• 通过将DCP的结构化语法与CCP的迭代凸化方法相结合，将纪律性凸规划（DCP）扩展至非凸问题。
• 开发一个鲁棒、自动化的框架，用于构建与求解差分凸（DC）优化问题，确保定义域合规性与次梯度处理。
• 提供一个实用、用户友好的Python实现（DCCP），扩展CVXPY，支持DC规划的端到端建模与求解。
• 在实际问题如滤波器设计、稀疏奇异向量与带符号约束的协方差估计中，验证该框架的有效性。

提出的方法

• 提出一种基于惩罚的凸-凹过程（CCP），用当前迭代点处的函数一阶泰勒近似（即凸上界）替代凹项。
• 引入领域感知凸化，确保当前迭代点始终位于所有函数的定义域内，避免无效函数评估。
• 通过使用次梯度而非梯度来处理不可微性，保持近似函数的下界性质。
• 引入松弛变量形式以放松约束，并对违反情况进行惩罚，从而在实际中提升收敛性与可行性。
• 采用类似线搜索的更新策略调整惩罚参数τ，通过几何级数方式逐步增加，以在迭代过程中强制满足约束。
• 将该框架集成至基于CVXPY构建的Python库（DCCP）中，使用户能够使用DCP语法表达DC规划问题，并通过自动重写与求解器调度实现求解。

实验结果

研究问题

• RQ1 如何在保持结构与自动化的同时，将纪律性凸规划原则扩展至非凸的差分凸（DC）规划问题？
• RQ2 在函数评估超出定义域或存在不可微性时，应采用何种机制确保CCP的数值鲁棒性？
• RQ3 系统性、语法强制的框架在实践中能否提升DC优化的可靠性与可用性？
• RQ4 所提出的领域感知与基于次梯度的CCP相较于标准CCP，在收敛性与可行性方面表现如何？
• RQ5 DCCP在多大程度上可实现对真实世界非凸问题的最小用户干预求解？

主要发现

• DCCP框架通过引入定义域检查与基于次梯度的凸化，成功处理了DC规划中的定义域越界与不可微性问题，防止了算法失败。
• 基于惩罚的CCP方法结合松弛变量与自适应τ更新策略，在初始约束可能被违反的情况下，仍能在较弱条件下收敛至驻点。
• DCCP的实现使用户能够使用CVXPY的DCP语法表达复杂的DC问题，系统自动将其重写为可求解的凸子问题。
• 在低通滤波器设计中，DCCP获得了满足通带与阻带幅值约束且过冲极小的可行解，展示了其实际应用价值。
• 在稀疏奇异向量计算中，DCCP找到了在ℓ₁与ℓ₂约束下最小化或最大化||Ax||₂的稀疏向量，且在低复杂度情况下结果与全局最优解一致。
• 在带符号约束的高斯协方差估计中，DCCP生成的估计结果显著优于经验协方差矩阵，验证了引入先验结构知识的有效性。