[論文レビュー] $\ell_p$-Box ADMM: A Versatile Framework for Integer Programming

Baoyuan Wu, Bernard Ghanem|arXiv (Cornell University)|Apr 26, 2016

Complexity and Algorithms in Graphs参考文献 45被引用数 6

ひとこと要約

本稿では、二値制約をボックスとℓₚ-球の積集合として再定式化することにより、整数計画問題を効率的で収束性がありスケーラブルな方法で解くための新しいフレームワークℓₚ-box ADMMを提案する。二乗形式の整数計画問題に適用したところ、MRFエネルギー最小化、グラフマッチング、クラスタリングの分野で、汎用ソルバーや最先端の手法と比較して、実行時間と目的関数値の両面で優れた性能を発揮した。

ABSTRACT

This paper revisits the integer programming (IP) problem, which plays a fundamental role in many computer vision and machine learning applications. The literature abounds with many seminal works that address this problem, some focusing on continuous approaches (e.g. linear program relaxation) while others on discrete ones (e.g., min-cut). However, a limited number of them are designed to handle the general IP form and even these methods cannot adequately satisfy the simultaneous requirements of accuracy, feasibility, and scalability. To this end, we propose a novel and versatile framework called $\ell_p$-box ADMM, which is based on two parts. (1) The discrete constraint is equivalently replaced by the intersection of a box and a $(n-1)$-dimensional sphere (defined through the $\ell_p$ norm). (2) We infuse this equivalence into the ADMM (Alternating Direction Method of Multipliers) framework to handle these continuous constraints separately and to harness its attractive properties. More importantly, the ADMM update steps can lead to manageable sub-problems in the continuous domain. To demonstrate its efficacy, we consider an instance of the framework, namely $\ell_2$-box ADMM applied to binary quadratic programming (BQP). Here, the ADMM steps are simple, computationally efficient, and theoretically guaranteed to converge to a KKT point. We demonstrate the applicability of $\ell_2$-box ADMM on three important applications: MRF energy minimization, graph matching, and clustering. Results clearly show that it significantly outperforms existing generic IP solvers both in runtime and objective. It also achieves very competitive performance vs. state-of-the-art methods specific to these applications.

研究の動機と目的

• コンピュータビジョンおよび機械学習分野における一般整数計画問題に対して、統一的でスケーラブルかつ高精度なフレームワークの欠如に取り組む。
• 計算コストの高さ、スケーラビリティの低さ、問題固有の仮定への依存といった既存手法の限界を克服し、正確な二値可能性を保証する連続的緩和を可能にする。
• 問題固有の設計を必要とせず、多様な応用分野においても妥当性、正確性、効率性を維持できる汎用的な最適化フレームワークを開発する。
• 離散問題に既に確立された連続最適化手法（例：ADMM）を活用できるようにするため、離散制約を連続多様体に埋め込む。

提案手法

• 二値制約 x ∈ {0,1}ⁿ を、等価な連続的制約 x ∈ [0,1]ⁿ ∩ {x : ||x − ½1ₙ||ₚᵖ = n/2ᵖ} に置き換えることで、ℓₚ-ボックス交差を構築する。
• この等価性をADMMフレームワークに組み込み、連続領域における取り扱いやすい部分問題に問題を分解する。
• プライマル変数と双対変数の交互最小化を用い、特にℓ₂-球への射影とソフトスレッショルド処理の閉形式更新を含む、重要なステップを明示的に計算する。
• ℓ₂-ボックスADMMでは、緩和条件が弱い範囲で、計算が効率的かつKKT点に理論的に収束することが保証される。
• 非滑らかな目的関数（例：ℓ₁正則化）を扱うために、補助変数を導入し、制約を再定式化する。
• ADMMの分解可能性と収束保証を活用し、複雑な離散問題を、連続領域における単純な反復更新により解く。

実験結果

リサーチクエスチョン

• RQ1 整数計画問題における二値制約を、ℓₚ-球とボックスの交差を用いて等価に連続的制約に再定式化できるか？
• RQ2 この再定式化された問題に対してADMMを効果的に適用することで、収束性・効率性・妥当性を兼ね備えた解を得られるか？
• RQ3 標準的なコンピュータビジョンおよび機械学習問題において、ℓ₂-ボックスADMMは汎用ソルバーや特化されたソルバーよりも実行時間と解の質において優れているか？
• RQ4 収束性や効率性を損なわず、ℓ₁正則化付きの離散最適化問題のような非滑らかな目的関数に対しても、このフレームワークを拡張可能か？

主な発見

• GPUアクセcelerationを用いることで、汎用IPソルバーよりも最大3倍の高速化が達成された。
• MRFエネルギー最小化、グラフマッチング、クラスタリングの分野において、ℓ₂-ボックスADMMは、汎用IPソルバーや最先端のアプリケーション特化手法を上回り、目的関数値と実行時間の両面で優れた性能を示した。
• 二乗形式整数計画問題において、理論的にKKT点に収束することが保証されており、理論的信頼性が裏付けられた。
• 補助変数の導入と制約の再定式化により、ℓ₁正則化問題のような非滑らかな目的関数に対しても、フレームワークを拡張可能である。
• ℓₚ-ボックスADMMフレームワークは汎用的であり、サブセット選択、アクティブラーニング、ハッシュコード学習を含む多様な離散最適化問題に適用可能である。
• 異なるp値に対しても性能が安定しており、唯一変更が必要なのはℓₚ-球への射影演算子のみである。