[論文レビュー] A General Analysis of the Convergence of ADMM

Robert Nishihara, Laurent Lessard+3 more|arXiv (Cornell University)|Feb 6, 2015

Sparse and Compressive Sensing Techniques参考文献 34被引用数 148

ひとこと要約

本稿では、半正定値計画法（SDP）を用いた一般化されたフレームワークを提示し、ADMM（交替方向乗数法）の線形収束を分析する。これにより、収束速度の自動分析とパラメータ選定が可能となる。過剰に緩和されたADMM（over-relaxed ADMM）に対して、アルゴリズムパラメータに制限を設けないまま、収束速度のタイトな上界と下界を確立し、導出された境界の数値最適化を通じて実用的なチューニング指針を提示する。

ABSTRACT

We provide a new proof of the linear convergence of the alternating direction method of multipliers (ADMM) when one of the objective terms is strongly convex. Our proof is based on a framework for analyzing optimization algorithms introduced in Lessard et al. (2014), reducing algorithm convergence to verifying the stability of a dynamical system. This approach generalizes a number of existing results and obviates any assumptions about specific choices of algorithm parameters. On a numerical example, we demonstrate that minimizing the derived bound on the convergence rate provides a practical approach to selecting algorithm parameters for particular ADMM instances. We complement our upper bound by constructing a nearly-matching lower bound on the worst-case rate of convergence.

研究の動機と目的

• ADMMの変種の線形収束速度を証明するための統一的かつパラメータに依存しないフレームワークの構築。
• 導出された収束速度境界を最小化することで、アルゴリズムパラメータ（ρ と α）の体系的選定を可能にする。
• 過剰に緩和されたADMMの最悪ケース収束速度に対するタイトな上界と下界の確立。
• ステップサイズおよび緩和パラメータに関する仮定を排除することで、先行研究の収束証明を一般化する。
• 分散型最小二乗問題における数値実験を通じて、フレームワークの実用的有用性を示す。

提案手法

• 収束解析を、ロバスト制御理論における積分二次制約（IQC）フレームワークを用いた離散時間線形力学系の安定性検証に再定式化する。
• 安定性条件の検証のための半正定値計画問題（SDP）を定式化し、線形収束速度の上界を導出する。
• ρ と α の異なる値に対してSDPを数値的に解き、パラメータ選択による収束速度境界を計算する。
• 緩和パラメータ α を導入することで、標準ADMMを一般化し、過剰に緩和されたADMMにフレームワークを適用する。
• 上界のタイトさを検証するため、最悪ケース収束速度に対するほぼ一致する下界を構築する。
• 計算された収束速度境界を最小化することでパラメータ選定をガイドし、実際の数値実験で有効なパラメータ選択を予測できることを示す。

実験結果

リサーチクエスチョン

• RQ1 ADMMの変種の線形収束を分析するための一般化され、パラメータに依存しないフレームワークを開発できるか？
• RQ2 ρ や α の特定値を仮定しないで、過剰に緩和されたADMMの収束速度をどのように境界付けられるか？
• RQ3 導出された収束速度境界を、ADMMインスタンスの実用的パラメータ選定にどのように活用できるか？
• RQ4 過剰に緩和されたADMMの最悪ケース収束速度に対する上界と下界はどの程度タイトか？
• RQ5 導出された収束速度境界を最小化することは、数値実験で有効なパラメータ選択をもたらすか？

主な発見

• 提案されたフレームワークにより、各アルゴリズム変種ごとに新たな証明を必要とせず、4×4の半正定値計画問題の数値解法によりADMM変種の収束速度解析が可能になる。
• ρ と α における収束速度上界の最小化により得られたパラメータ選択は、数値実験でほぼ最適に近い性能を示した。
• N=5 の分散型最小二乗問題において、境界最小化により得られた最適パラメータは α=2.0 と ρ=1.7 であり、シミュレーションで最も優れた性能を示したパラメータセットとよく一致した。
• 数値実験での反復回数の性能から、α の値が小さいほど ρ の悪い選択に対してよりロバストであることが示された。
• 収束速度の上界は、最悪ケース速度に対する一致する下界の構築により、ほぼタイトであることが確認された。
• フレームワークはドーキング＝ラッハフォード法や前向き後ろ向き分割法などの他のオペレータ分割法へも拡張可能であり、広範な適用可能性を示唆している。