[論文レビュー] Accelerated Alternating Direction Method of Multipliers: an Optimal $O(1/K)$ Nonergodic Analysis

Huan Li, Zhouchen Lin|arXiv (Cornell University)|Aug 23, 2016

Sparse and Compressive Sensing Techniques参考文献 42被引用数 4

ひとこと要約

本稿では、一般の線形制約付き凸問題に対して最適な O(1/K) 非確率的収束速度を達成する、加速された交替方向乗数法（ADMM）を提案する。この手法は、確率的平均化を用いないにもかかわらず、O(1/K) の部分最適性ギャップと制約違反を達成する。本手法は、確率的平均化の対比においてスパarsityと低ランク構造をよりよく保持する。これは、一般の線形制約付き凸問題に対して初めて O(1/K) 非確率的 ADMM を実現し、非滑らかかつ強く凸でない条件下で複雑性において最適である。

ABSTRACT

The Alternating Direction Method of Multipliers (ADMM) is widely used for linearly constrained convex problems. It is proven to have an $o(1/\sqrt{K})$ nonergodic convergence rate and a faster $O(1/K)$ ergodic rate after ergodic averaging, which may destroy the sparsity and low-rankness in sparse and low-rank learning, where $K$ is the number of iterations. In this paper, we modify the accelerated ADMM proposed in [Y. Ouyang, Y. Chen, G. Lan, and E. Pasiliao, An Accelerated Linearized Alternating Direction Method of Multipliers, SIAM J. on Imaging Sciences, 2015, 1588-1623] and give an $O(1/K)$ nonergodic convergence rate analysis, which satisfies $|F(x^K)-F(x^*)|\leq O(1/K)$, $\|Ax^K-b\|\leq O(1/K)$ and $x^K$ has a more favorable sparseness and low-rankness than the ergodic result. As far as we know, this is the first $O(1/K)$ nonergodic convergent ADMM type method for general linearly constrained convex problems. Moreover, we show that the lower complexity bound of ADMM type methods for the separable linearly constrained nonsmooth convex problems is $O(1/K)$, which means that our method is optimal.

研究の動機と目的

• 線形制約付き凸問題に対する従来の ADMM の部分最適な o(1/√K) 非確率的収束速度を改善すること。
• 既存の加速 ADMM 法で生じる確率的平均化によるスパarsity と低ランク性の損失を克服すること。
• 最適な O(1/K) 収束速度を達成する非確率的加速 ADMM 変種を開発し、望ましい解の構造を維持すること。
• 非滑らかかつ強く凸でない設定下で、ADMM 型手法の下界複雑性を確立し、提案手法の最適性を証明すること。

提案手法

• Ouyang ら [18] の加速 ADMM フレームワークを変更し、確率的平均化を用いずに収束を加速するための新規なモーメンタムに基づく更新戦略を導入する。
• 非確率的収束速度を確立するため、リャプノフ関数に基づく解析を導入し、目的関数ギャップ |F(x^K) - F(x*)| と制約違反 ||Ax^K - b|| の両方を扱う。
• プライムと双対ステップのバランスを、巧みに設計された外挿スキームを用いて行うパラメータ更新則を導入し、O(1/K) 収束を保証する。
• 一般の凸、非滑らか、強く凸でない設定下で、目的誤差と実行可能性違反の両方について、O(1/K) 非確率的収束が達成されることを証明する。
• 提案手法の O(1/K) 非確率的収束が最適であることを示すために、同問題クラスにおける ADMM 型手法の下界複雑性を導出する。
• 平均化を避けることで、反復のスパarsity と低ランク性を保持し、最終反復 x^K が機械学習や画像処理において重要な構造的性質を維持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 一般の線形制約付き凸問題に対して、加速 ADMM が O(1/K) 非確率的収束速度を達成できるか？
• RQ2 提案手法は、確率的平均化手法とは異なり、解の反復におけるスパarsity と低ランク性を維持できるか？
• RQ3 非滑らかかつ強く凸でない設定下で、ADMM 型手法の O(1/K) 非確率的収束速度は最適か？
• RQ4 収束解析を、より速い収束を達成しつつ、スパarsity などの構造的性質を保持できるように拡張できるか？
• RQ5 分離可能で線形制約付き、非滑らか凸問題に対する ADMM 型手法の理論的下界複雑性は何か？

主な発見

• 提案された ALADMM-NE は、目的関数ギャップ |F(x^K) - F(x*)| と制約違反 ||Ax^K - b|| の両方において、O(1/K) 非確率的収束速度を達成する。
• 確率的平均化とは異なり、最終反復 x^K におけるスパarsity と低ランク性が保持される。
• O(1/K) 非確率的収束速度は最適であり、本稿では、同問題クラスにおける ADMM 型手法の下界複雑性が Ω(1/K) であることを証明している。
• グループスパースなロジスティック回帰における数値実験では、ALADMM-NE と ALADMM-NER が LADMM や ALADMM よりも収束速度が速く、優れたスパarsity とグループスパarsity を維持している。
• 理論的境界にもかかわらず、実際の収束速度は確率的バージョン（例：erg-ALADMM）よりも速く、反復における構造的性質もより良好に保っている。
• 理論的解析により、O(1/K) の収束速度はこれ以上改善できないことが確認され、提案アルゴリズムの最適性が確立された。