[论文解读] $\ell_p$-Box ADMM: A Versatile Framework for Integer Programming

Baoyuan Wu, Bernard Ghanem|arXiv (Cornell University)|Apr 26, 2016

Complexity and Algorithms in Graphs参考文献 45被引用 6

一句话总结

本文提出 ℓₚ-box ADMM，一种新颖的框架，通过将二元约束重新表述为盒子与 ℓₚ-球面的交集，实现利用 ADMM 高效、收敛且可扩展地求解整数规划问题。应用于二元二次规划时，其在运行时间和目标函数性能上均优于通用求解器及在 MRF 能量最小化、图匹配和聚类任务中的最先进方法。

ABSTRACT

This paper revisits the integer programming (IP) problem, which plays a fundamental role in many computer vision and machine learning applications. The literature abounds with many seminal works that address this problem, some focusing on continuous approaches (e.g. linear program relaxation) while others on discrete ones (e.g., min-cut). However, a limited number of them are designed to handle the general IP form and even these methods cannot adequately satisfy the simultaneous requirements of accuracy, feasibility, and scalability. To this end, we propose a novel and versatile framework called $\ell_p$-box ADMM, which is based on two parts. (1) The discrete constraint is equivalently replaced by the intersection of a box and a $(n-1)$-dimensional sphere (defined through the $\ell_p$ norm). (2) We infuse this equivalence into the ADMM (Alternating Direction Method of Multipliers) framework to handle these continuous constraints separately and to harness its attractive properties. More importantly, the ADMM update steps can lead to manageable sub-problems in the continuous domain. To demonstrate its efficacy, we consider an instance of the framework, namely $\ell_2$-box ADMM applied to binary quadratic programming (BQP). Here, the ADMM steps are simple, computationally efficient, and theoretically guaranteed to converge to a KKT point. We demonstrate the applicability of $\ell_2$-box ADMM on three important applications: MRF energy minimization, graph matching, and clustering. Results clearly show that it significantly outperforms existing generic IP solvers both in runtime and objective. It also achieves very competitive performance vs. state-of-the-art methods specific to these applications.

研究动机与目标

• 解决计算机视觉与机器学习领域中缺乏统一、可扩展且精确的通用整数规划求解框架的问题。
• 通过实现连续松弛下的精确二元可行性，克服现有方法的局限性——如计算成本高、可扩展性差或依赖于问题特定假设。
• 开发一种通用的优化框架，在无需针对具体问题进行设计的前提下，保持可行性、准确性和效率，适用于多样化应用场景。
• 通过将离散约束嵌入连续流形，使成熟连续优化工具（如 ADMM）能够应用于离散问题。

提出的方法

• 将二元约束 x ∈ {0,1}ⁿ 替换为等价的连续约束：x ∈ [0,1]ⁿ ∩ {x : ||x − ½1ₙ||ₚᵖ = n/2ᵖ}，形成 ℓₚ-box 交集。
• 将该等价关系嵌入 ADMM 框架中，将问题分解为在连续域中可管理的子问题。
• 通过在原始变量与对偶变量之间交替最小化，实现关键步骤的闭式更新，包括对 ℓ₂-球面的投影和软阈值化操作。
• 对于 ℓ₂-box ADMM，其更新步骤计算高效，并在较弱条件下可证明收敛至 KKT 点。
• 通过引入辅助变量并重构约束，将框架扩展至处理非光滑目标函数（如 ℓ₁ 正则化）。
• 利用 ADMM 的可分性与收敛性保证，在连续域中通过简单、迭代的更新步骤求解复杂离散问题。

实验结果

研究问题

• RQ1 整数规划中的二元约束能否通过 ℓₚ-球面与盒子的交集，等价地重表述为连续约束？
• RQ2 ADMM 能否有效应用于该重构问题，以获得收敛、高效且可行的解？
• RQ3 在标准计算机视觉与机器学习问题上，ℓ₂-box ADMM 与通用求解器及专用求解器相比，在运行时间和解质量方面表现如何？
• RQ4 该框架能否在不牺牲收敛性或效率的前提下，扩展至处理非光滑目标函数（如 ℓ₁-正则化的离散优化）？

主要发现

• 与通用 IP 求解器相比，ℓ₂-box ADMM 在使用 GPU 加速时实现了高达 3 倍的运行时间提升。
• 在 MRF 能量最小化、图匹配和聚类任务中，ℓ₂-box ADMM 在目标值和运行时间方面均优于通用 IP 求解器及最先进的专用方法。
• 该方法可证明收敛至二元二次规划的 KKT 点，确保理论可靠性。
• 通过引入辅助变量并重构约束，该框架可扩展至处理如 ℓ₁-正则化问题等非光滑目标函数。
• ℓₚ-box ADMM 框架具有通用性，适用于广泛离散优化问题，包括子集选择、主动学习和哈希码学习。
• 该方法在不同 p 值下表现稳健，仅需修改 ℓₚ-球面投影算子。