[論文レビュー] On the Linear Convergence of the Alternating Direction Method of Multipliers

Mingyi Hong, Zhi‐Quan Luo|arXiv (Cornell University)|Aug 20, 2012

Sparse and Compressive Sensing Techniques参考文献 52被引用数 153

ひとこと要約

本稿は、強い凸性がなくても、任意の数の凸可分関数の和を最小化するための交替方向乗数法（ADMM）のグローバル線形収束を確立する。分析は誤差境界とプロキシマル残差に依拠し、双対ステップサイズが十分に小さい場合に線形収束を証明する。これは、多ブロックおよび非強い凸問題における長年の未解決問題を解消する。

ABSTRACT

We analyze the convergence rate of the alternating direction method of multipliers (ADMM) for minimizing the sum of two or more nonsmooth convex separable functions subject to linear constraints. Previous analysis of the ADMM typically assumes that the objective function is the sum of only two convex functions defined on two separable blocks of variables even though the algorithm works well in numerical experiments for three or more blocks. Moreover, there has been no rate of convergence analysis for the ADMM without strong convexity in the objective function. In this paper we establish the global linear convergence of the ADMM for minimizing the sum of any number of convex separable functions. This result settles a key question regarding the convergence of the ADMM when the number of blocks is more than two or if the strong convexity is absent. It also implies the linear convergence of the ADMM for several contemporary applications including LASSO, Group LASSO and Sparse Group LASSO without any strong convexity assumption. Our proof is based on estimating the distance from a dual feasible solution to the optimal dual solution set by the norm of a certain proximal residual, and by requiring the dual stepsize to be sufficiently small.

研究の動機と目的

• 2つ以上のブロックを含む問題、または強い凸性が仮定されない問題に対してADMMが線形収束するかどうかという未解決問題を解消すること。
• ADMMの収束解析を、ADMMが線形収束することが知られている古典的な2ブロック設定を超えて拡張すること。
• 強い凸性の仮定なしに、LASSO、グループLASSO、スパースグループLASSOなどの応用分野におけるADMMの経験的成功の理論的基盤を提供すること。
• 強い凸性に依存しない誤差境界技術とプロキシマル残差推定を用いて線形収束を確立すること。
• 複数の可分ブロックを含む構造的凸最適化問題の広いクラスにわたる収束保証を一般化すること。

提案手法

• 著者らは、プロキシマル残差のノルムを用いて、双対実行可能解から最適双対解集合までの距離を推定することでADMMを分析する。
• プライマル不実行性と双対不実行性をプロキシマル残差のノルムに結びつける、新しい誤差境界条件を導入する。
• 元の問題が強い凸性を持たなくても、増強ラグランジュ関数から構築された補助関数の強い凸性に依存する証明を行う。
• 重要な技術的ステップとして、双対反復と最適双対解との差を、双対関数の勾配と残差ベクトルを用いてバウンディングする。
• 収束が線形であることを保証するため、双対ステップサイズが十分に小さいと仮定する。これは、最適解集合への距離の2次的バウンディングにより導出される。
• メリット関数と写像Mを用いて、プライマル・双対反復と最適解集合との関係を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 変数が2つ以上のブロックを含む問題にADMMを適用した場合、線形収束するか？
• RQ2 目的関数に強い凸性の仮定をしない場合でも、ADMMの線形収束を確立できるか？
• RQ3 多ブロックおよび非強い凸設定において、ADMMの線形収束を保証する双対ステップサイズの条件は何か？
• RQ4 強い凸性が欠如する状況で、プロキシマル残差を用いて最適解集合への距離をどのようにバウンディングできるか？
• RQ5 誤差境界技術を用いて、一般の凸可分問題におけるADMMのグローバル線形収束を導出できるか？

主な発見

• ADMMは、強い凸性がなくても、任意の数の凸可分関数の和を最小化する問題に対してグローバルに線形収束する。
• 双対ステップサイズが十分に小さいという条件下で線形収束が確立され、これにより誤差境界が成立する。
• 収束速度は、リプシッツ定数や補助関数の強い凸性パラメータなどの問題パラメータに依存する定数τによって定量的に評価される。
• この結果により、強い凸性の仮定なしにLASSO、グループLASSO、スパースグループLASSOに対しても線形収束が成立することが示唆される。
• この分析により、多ブロックおよび非強い凸問題におけるADMMの経験的成功の理論的裏付けが与えられる。
• プロキシマル残差と誤差境界を用いた証明技法は、構造的凸最適化問題の広いクラスに一般化可能な一般的なフレームワークを提供する。