[論文レビュー] Binary Optimization via Mathematical Programming with Equilibrium Constraints

Ganzhao Yuan, Bernard Ghanem|arXiv (Cornell University)|Aug 15, 2016

Optimization and Search Problems参考文献 69被引用数 36

ひとこと要約

本稿では、数学的計画法における均衡制約（MPEC）を用いて、二値プログラムのための新しい連続最適化フレームワークを提案する。二値問題を双凸問題に再定式化し、双線形等式制約を含むことで、最適解への収束を保証する2つの正確なペナルティ法および交替方向乗法法（ADMM）を構築した。この手法は、逐次的凸緩和を経て、グラフ二分法、画像セグメンテーション、クラスタリングの複数の応用において、既存手法を上回る解の品質を達成する。

ABSTRACT

Binary optimization is a central problem in mathematical optimization and its applications are abundant. To solve this problem, we propose a new class of continuous optimization techniques which is based on Mathematical Programming with Equilibrium Constraints (MPECs). We first reformulate the binary program as an equivalent augmented biconvex optimization problem with a bilinear equality constraint, then we propose two penalization/regularization methods (exact penalty and alternating direction) to solve it. The resulting algorithms seek desirable solutions to the original problem via solving a sequence of linear programming convex relaxation subproblems. In addition, we prove that both the penalty function and augmented Lagrangian function, induced by adding the complementarity constraint to the objectives, are exact, i.e., they have the same local and global minima with those of the original binary program when the penalty parameter is over some threshold. The convergence of both algorithms can be guaranteed, since they essentially reduce to block coordinate descent in the literature. Finally, we demonstrate the effectiveness and versatility of our methods on several important problems, including graph bisection, constrained image segmentation, dense subgraph discovery, modularity clustering and Markov random fields. Extensive experiments show that our methods outperform existing popular techniques, such as iterative hard thresholding, linear programming relaxation and semidefinite programming relaxation.

研究の動機と目的

• コンピュータビジョンおよび機械学習分野における二値最適化問題のNP困難性に対処し、連続的かつ収束性を有するアルゴリズムを開発すること。
• 通常の緩和法（例：線形計画法（LP）、半定値計画法（SDP））の限界を克服し、緩和の境界がゆるく、最適解が得られないことが多くなる問題を解消すること。
• MPEC理論に基づく新しい正確なペナルティ法および交替方向法のクラスを確立すること。
• 提案手法の有効性と計算効率を、多様な実世界問題において実証すること。
• ペナルティ関数および拡張ラグランジュ形式の収束性と正確性に関する理論的保証を提供すること。

提案手法

• 二値制約を最適化構造に埋め込むために、二値プログラムを双凸最適化問題に再定式化し、双線形等式制約を含む拡張された問題に変換する。
• 補完制約を目的関数に加える正確なペナルティ法（MPEC-EPM）を適用し、ペナルティパラメータが閾値を超えると、全域的および局所的最小解が元の二値プログラムと同一になることを保証する。
• 拡張ラグランジュ形式を用いてMPECを解く交替方向法（MPEC-ADM）を採用し、双変数の更新により収束を保証する。
• 得られた部分問題を凸緩和により解き、相対収束許容誤差 $10^{-5}$ を用いたプロキシマル勾配降下法を適用する。
• 密な部分グラフ探索およびクラスタリングタスクにおける、上限付き単体制約付きの射影部分問題を効率的に解くためのブレークポイント探索アルゴリズムを用いる。
• 両手法において適応的ペナルティパラメータ更新を採用し、MPEC-EPMでは $\rho^0 = 0.01$、MPEC-ADMでは $\alpha^0 = 0.001$ を使用し、両者で $\sigma = \sqrt{10}$ を使用する。

実験結果

リサーチクエスチョン

• RQ1 MPECに基づく再定式化は、LP や SDP よりもタイトで正確な連続的緩和を二値最適化に提供できるか？

主な発見

• MPECによる正確なペナルティ関数および拡張ラグランジュ関数は、ペナルティパラメータが閾値を超えると、元の二値プログラムと同一の全域的および局所的最小解を持つことが証明された。
• MPEC-EPMおよびMPEC-ADMの両手法は単調に収束し、文脈上、ブロック座標降下法と同等であるため収束が保証されている。
• 提案手法は、反復的ハードスレッショルド法、線形計画法緩和、半定値計画法緩和よりも、すべてのテスト問題において優れた解の品質を達成した。
• 100万ノード、700万エッジを有する大規模データセット（例：'dblp-2011'）において、両手法は15分以内に終了し、実用的な計算効率を示した。
• MPEC-EPMおよびMPEC-ADMはLPより数倍遅いが、1イテレーションあたり複数回のLP呼び出しによりL2box-ADMMと同等の速度を示した。すべての手法は類似した計算複雑度を持つ。
• 複数のデータセット（例：karate, dolphins, jazz）における密な部分グラフ探索の収束曲線は、目的関数値が単調に減少しており、ペナルティおよびADMMスキームの有効性を確認した。