[论文解读] Bounding Duality Gap for Problems with Separable Objective

Madeleine Udell, Stephen Boyd|arXiv (Cornell University)|Oct 15, 2014

Complexity and Algorithms in Graphs参考文献 42被引用 14

一句话总结

该论文提出一种随机算法，通过使用凸包络求解凸化版本，来近似求解具有可分目标函数和线性约束的非凸优化问题。该方法建立了与问题规模无关的紧致对偶间隙界，该界仅依赖于约束数量，并提供了保证 $\backslash$ epsilon-次优性的构造性且自完备的证明。

ABSTRACT

We consider the problem of minimizing a sum of non-convex functions over a compact domain, subject to linear inequality and equality constraints. Approximate solutions can be found by solving a convexified version of the problem, in which each function in the objective is replaced by its convex envelope. We propose a randomized algorithm to solve the convexified problem which finds an $\epsilon$-suboptimal solution to the original problem. With probability one, $\epsilon$ is bounded by a term proportional to the number of constraints in the problem. The bound does not depend on the number of variables in the problem or the number of terms in the objective. In contrast to previous related work, our proof is constructive, self-contained, and gives a bound that is tight.

研究动机与目标

• 解决在紧致域上具有线性约束的非凸函数之和最小化问题的挑战。
• 开发一种方法，为这类问题提供对偶间隙的紧致、构造性界。
• 确保近似误差（$\epsilon$）独立于变量数量和目标项数。
• 提供对偶间隙界自完备的证明，改进了以往非构造性或松散的结果。

提出的方法

• 该方法将目标函数中的每个非凸函数替换为其凸包络，以生成凸化问题。
• 设计了一种随机算法，以高效求解凸化问题。
• 该算法的输出被保证以概率1对原始非凸问题达到 $\epsilon$-次优。
• 对偶间隙界是构造性推导的，仅依赖于约束数量，而不依赖于变量或目标函数项的数量。
• 证明技术是自完备的，不依赖于外部假设或先前界。
• 证明了 $\epsilon$ 的界是紧致的，且不依赖于问题维度或函数数量。

实验结果

研究问题

• RQ1 能否通过随机算法在具有线性约束的非凸可分问题中实现 $\epsilon$-次优解？
• RQ2 仅依赖于约束数量的对偶间隙的最紧可能界是什么？
• RQ3 如何为这类问题发展一种构造性且自完备的对偶间隙界证明？
• RQ4 能否实现对偶间隙界独立于变量数量和目标项数？

主要发现

• 对偶间隙被一个与约束数量成比例的项所界，且不依赖于变量或目标函数项的数量。
• $\epsilon$ 的界是紧致的，意味着在无额外假设下无法进一步改进。
• 随机算法以概率1实现 $\epsilon$-次优解。
• 该证明是构造性且自完备的，不同于以往依赖非构造性论证的方法。
• 该方法确保解的质量仅依赖于约束结构，而不依赖于变量或函数的数量。
• 该方法提供了一种实用且理论基础坚实的非凸优化问题近似方法，具有保证的误差界。