[論文レビュー] On the Global Linear Convergence of the ADMM with Multi-Block Variables

Tianyi Lin, Shiqian Ma+1 more|arXiv (Cornell University)|Aug 19, 2014

Sparse and Compressive Sensing Techniques参考文献 31被引用数 11

ひとこと要約

本稿は、$N \geq 3$ の多ブロック凸最適化問題に対して、ADMM（交替方向乗数法）のグローバル線形収束を、強い凸性、勾配のリプシッツ連続性、特定の行列のフルランク性といった容易に確認可能な条件下で確立する。著者らは、2ブロックケースでよく理解されている収束保証を、より一般化された多ブロック設定にまで拡張し、大規模な多ブロック設定におけるADMMの実用的成功を説明する。

ABSTRACT

The alternating direction method of multipliers (ADMM) has been widely used for solving structured convex optimization problems. In particular, the ADMM can solve convex programs that minimize the sum of $N$ convex functions with $N$-block variables linked by some linear constraints. While the convergence of the ADMM for $N=2$ was well established in the literature, it remained an open problem for a long time whether or not the ADMM for $N \ge 3$ is still convergent. Recently, it was shown in [3] that without further conditions the ADMM for $N\ge 3$ may actually fail to converge. In this paper, we show that under some easily verifiable and reasonable conditions the global linear convergence of the ADMM when $N\geq 3$ can still be assured, which is important since the ADMM is a popular method for solving large scale multi-block optimization models and is known to perform very well in practice even when $N\ge 3$. Our study aims to offer an explanation for this phenomenon.

研究の動機と目的

• ADMMが $N \geq 3$ ブロック変数に対してグローバルかつ線形に収束するかどうかという長年の未解決問題を解消すること。
• 多ブロック凸最適化においてADMMがグローバル線形収束を達成するための最小かつ検証可能な条件を同定すること。
• 機械学習や画像処理などの分野で複数ブロックを含む大規模問題においてADMMが経験的に成功する理由を理論的に裏付けること。
• 2ブロックADMMの既存の収束結果を、より一般的な多ブロックケースにまで拡張すること。

提案手法

• 線形制約で結ばれた$N$ブロック変数をもつ増大ラグランジュ最小化問題として、多ブロックADMMを定式化する。
• 作用素分割と単調作用素理論を用いて収束を分析し、強制性やリプシッツ連続性といった性質を活用する。
• グローバル線形収束が保証される3つの異なる状況を提示し、目的関数と制約行列に対する特定の構造的仮定を設ける。
• スペクトル解析と誤差バウンド技術を適用し、強い凸性とフルランク条件の下で線形収束レートを導出する。
• 強い凸性を示す$N-1$個の関数、勾配のリプシッツ連続性、$A_N$のフル行ランクを含む十分条件を導出し、線形収束を保証する。
• ユーティリティ最大化問題における数値実験を通じて理論的考察を検証し、実際の問題において線形収束が達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 標準ADMMが $N \geq 3$ の場合に、どのような条件下でグローバル線形収束を達成するか？
• RQ2 2ブロックADMMの収束保証を、$N \geq 3$ の多ブロック問題にまで拡張できるか？
• RQ3 目的関数と制約行列にどのような構造的仮定を置けば、多ブロック設定におけるADMMの線形収束が保証されるか？
• RQ4 一般の多ブロックバージョンでは既知の非収束性にもかかわらず、ADMMが実際にはなぜうまく機能するのか？

主な発見

• 関数 $f_i$ のうち $N-1$ 個が強く凸であり、$\nabla f_N$ がリプシッツ連続で、$A_N$ がフル行ランクである場合、ADMMは $N \geq 3$ に対してグローバル線形収束を達成する。
• 収束レートは線形であり、数値実験ではレート定数 $\delta_1$ が約 $1.01 \times 10^{-2}$ に近い値を示した。
• 罰則パrameter $\gamma$ は理論的上限 $\gamma_{\text{max}}$ に近い値に選んでも収束を失わず、実験では $\gamma = 0.99 \cdot \gamma_{\text{max}}$ が使用された。
• 数値結果により、テスト問題におけるすべてのブロックについて反復解 $\|x_i - x_i^*\|$ の線形収束が確認され、理論的主張を裏付けた。
• 理論的枠組みは、2ブロックADMMに関する先行研究を一般化し、緩く検証可能な条件下で多ブロック問題にまで拡張した。
• 本稿は、合理的な仮定の下でADMMが $N \geq 3$ に対してグローバルに線形収束可能であることを示し、長年の未解決問題を解決した。これにより、ADMMの実用的効率性が説明された。