[论文解读] Binary Optimization via Mathematical Programming with Equilibrium Constraints

Ganzhao Yuan, Bernard Ghanem|arXiv (Cornell University)|Aug 15, 2016

Optimization and Search Problems参考文献 69被引用 36

一句话总结

该论文提出了一种基于数学规划中的均衡约束（MPEC）的新型连续优化框架，用于处理二值规划问题。通过将二值问题重新表述为带有双线性等式约束的等价双凸问题，作者开发了两种精确罚函数与交替方向乘子法（ADMM），通过序列凸松弛实现对最优解的收敛，相较于现有技术在图划分、图像分割和聚类等多类应用中展现出更优的解质量。

ABSTRACT

Binary optimization is a central problem in mathematical optimization and its applications are abundant. To solve this problem, we propose a new class of continuous optimization techniques which is based on Mathematical Programming with Equilibrium Constraints (MPECs). We first reformulate the binary program as an equivalent augmented biconvex optimization problem with a bilinear equality constraint, then we propose two penalization/regularization methods (exact penalty and alternating direction) to solve it. The resulting algorithms seek desirable solutions to the original problem via solving a sequence of linear programming convex relaxation subproblems. In addition, we prove that both the penalty function and augmented Lagrangian function, induced by adding the complementarity constraint to the objectives, are exact, i.e., they have the same local and global minima with those of the original binary program when the penalty parameter is over some threshold. The convergence of both algorithms can be guaranteed, since they essentially reduce to block coordinate descent in the literature. Finally, we demonstrate the effectiveness and versatility of our methods on several important problems, including graph bisection, constrained image segmentation, dense subgraph discovery, modularity clustering and Markov random fields. Extensive experiments show that our methods outperform existing popular techniques, such as iterative hard thresholding, linear programming relaxation and semidefinite programming relaxation.

研究动机与目标

• 为解决计算机视觉与机器学习中二值优化问题的NP难性质，开发连续且收敛的算法。
• 克服传统松弛方法（如线性规划LP、半定规划SDP）因边界松散而导致次优解的局限性。
• 基于MPEC理论，建立一类新的精确罚函数与交替方向方法，用于二值规划问题。
• 在多样化的现实世界问题中，验证所提方法的有效性与计算效率。
• 为罚函数与增广拉格朗日公式提供收敛性与精确性的理论保证。

提出的方法

• 将二值规划问题重新表述为带有双线性等式约束的等价增广双凸优化问题，将二值约束嵌入优化结构中。
• 应用精确罚函数法（MPEC-EPM），将互补约束加入目标函数，在罚参数超过阈值时确保全局与局部极小点等价。
• 采用交替方向法（MPEC-ADM），利用增广拉格朗日公式求解MPEC，通过对偶变量更新确保收敛。
• 通过凸松弛求解所得子问题，采用近端梯度下降法，相对收敛容差为 $10^{-5}$。
• 在密集子图与聚类任务中，使用断点搜索算法高效求解具有截断单纯形约束的投影子问题。
• 两种方法均采用自适应罚参数更新策略，MPEC-EPM的初始值为 $\rho^0 = 0.01$，MPEC-ADM的初始值为 $\alpha^0 = 0.001$，且两者均设 $\sigma = \sqrt{10}$。

实验结果

研究问题

• RQ1 MPEC-based重构能否为二值优化提供比现有方法（如LP或SDP松弛）更紧致且更精确的连续松弛？

主要发现

• 当罚参数超过某一阈值时，由MPEC公式诱导的精确罚函数与增广拉格朗日函数，其全局与局部极小点与原始二值规划问题完全一致。
• MPEC-EPM与MPEC-ADM均表现出单调收敛，其收敛性由文献中与块坐标下降的等价性所保证。
• 在所有测试问题中，所提方法在解质量上均优于迭代硬阈值法、线性规划松弛与半定规划松弛。
• 在大规模数据集（如'dblp-2011'，含100万个节点与700万个边）上，两种方法均于15分钟内完成，展现出实际的计算效率。
• MPEC-EPM与MPEC-ADM的运行速度虽为LP的数倍，但与L2box-ADMM相当，原因在于每次迭代中需调用多次LP求解，但所有方法具有相似的计算复杂度。
• 在多个数据集（如karate、dolphins、jazz）上，密集子图发现的收敛曲线显示目标值单调下降，证实了罚函数与ADMM方案的有效性。