[論文レビュー] Bregman Alternating Direction Method of Multipliers

Huahua Wang, Arindam Banerjee|arXiv (Cornell University)|Jun 13, 2013

Advanced Optimization Algorithms Research参考文献 29被引用数 159

ひとこと要約

本稿では、二次罰則項をBregman散発に置き換えることで問題構造をより効果的に活用できるように一般化されたADMMの拡張版であるBregman交替方向乗数法（BADMM）を提案する。BADMMはO(1/T)の反復複雑性を達成し、グローバル収束を保証する。ADMMよりも最大O(n/log(n))速く、特にGPU上で並列化された場合、大規模な質量輸送問題においてADMMおよびGurobiのような商用ソルバーを上回る性能を発揮する。

ABSTRACT

The mirror descent algorithm (MDA) generalizes gradient descent by using a Bregman divergence to replace squared Euclidean distance. In this paper, we similarly generalize the alternating direction method of multipliers (ADMM) to Bregman ADMM (BADMM), which allows the choice of different Bregman divergences to exploit the structure of problems. BADMM provides a unified framework for ADMM and its variants, including generalized ADMM, inexact ADMM and Bethe ADMM. We establish the global convergence and the $O(1/T)$ iteration complexity for BADMM. In some cases, BADMM can be faster than ADMM by a factor of $O(n/\log(n))$. In solving the linear program of mass transportation problem, BADMM leads to massive parallelism and can easily run on GPU. BADMM is several times faster than highly optimized commercial software Gurobi.

研究の動機と目的

• 問題固有の構造をより効果的に活用できるように、ADMMの二次罰則項をBregman散発に置き換えることによりADMMを一般化すること。
• ADMM、一般化ADMM、不正確ADMM、Bethe-ADMMを包含する包括的なフレームワークを確立すること。
• 提案されたBADMMアルゴリズムのグローバル収束性とO(1/T)の反復複雑性を証明すること。
• 特にGPU並列化を活用した場合に、大規模問題においてADMMおよびGurobiのような最先端の商用ソルバーを上回る顕著な高速化を示すこと。
• BADMMが大規模な問題においても低メモリ使用量を維持できることを示し、標準的な線形計画ソルバーでは到達できない問題の効率的解法を可能にすること。

提案手法

• BADMMは、増強ラグランジュアンにおける二次罰則項をBregman散発に置き換える。これにより、問題構造に応じた柔軟な散発の選択が可能になる。
• アルゴリズムは、Bregman散発に基づく近接更新を用いて、主変数xとzについて交互に最小化を実行し、双対変数の更新は標準的なADMMルールに従う。
• 構造化された問題に適応するための柔軟性を高めるために、x更新に追加のBregman散発を含む一般化されたバージョンも導入されている。
• 主な更新式はBregman散発D_F(x, x_t)を用いて導出され、質量輸送問題のような特定のケースでは閉形式の解が得られる。
• 質量輸送問題においては、BADMMの更新式が指数型勾配更新に相当することが示され、O(mn)時間で計算可能であり、並列化に非常に適している。
• アルゴリズムはGPU上で効率的に実装されており、要素ごとの演算および対数時間複雑度の和演算の並列性を活用している。

実験結果

リサーチクエスチョン

• RQ1 ADMMにおける二次罰則項をBregman散発に置き換えても、収束性および複雑性の保証が維持されるか？
• RQ2 得られるBregman ADMM（BADMM）は、一般化ADMMやBethe-ADMMといった既存のADMM変種を包括する包括的フレームワークを提供するか？
• RQ3 一般の凸設定下でのBADMMの収束行動および反復複雑性はいかなるものか？
• RQ4 大規模問題において、BADMMの性能はADMMおよびGurobiのような最先端の商用ソルバーと比べてどうか？
• RQ5 特にGPUアーキテクチャ上で並列化された場合に、BADMMは顕著な高速化と低メモリ使用量を達成できるか？

主な発見

• BADMMはグローバル収束性とO(1/T)の反復複雑性を確立し、より広範な最適化問題クラスに理論的保証を拡張した。
• 一部のケースでは、Bregman散発が問題構造とよく一致する場合、ADMMよりも最大O(n/log(n))の高速化が達成される。
• 質量輸送問題において、BADMMは実行時間および反復回数の両面でADMMを上回り、初期点がやや不適切であっても収束が速い。
• 大規模問題においてBADMMはGurobiを上回る：n = 10×2^10およびn = 15×2^10の問題ではGurobiがメモリ制限により終了不能であるのに対し、BADMMは単一のGPU（5GBメモリ）で効率的に実行可能である。
• 15×2^10の問題においてBADMMは303.54秒の実行時間を記録したが、高スペックの86GBサーバーでもGurobiは終了しなかった。これにより、BADMMの優れたスケーラビリティとメモリ効率が示された。
• BADMMのメモリフットプリントはO(n²)であり、0.2億変数を超える問題に対しても依然として実行可能である。これに対してGurobiのメモリ使用量はnの増加に伴い急激に増加する。