[論文レビュー] On the Convergence Rate of Multi-Block ADMM

Tianyi Lin, Shiqian Ma+1 more|arXiv (Cornell University)|Aug 19, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用数 23

ひとこと要約

本稿は、N ≥ 3 個のブロックを含む多ブロック凸最適化における標準ADMMの収束速度を確立し、1つの関数が凸で残りのN−1個の関数が強凸である場合、O(1/t)のエルゴード的収束とo(1/t)の非エルゴード的収束を証明する。この結果により、この設定におけるADMMの収束行動に関する長年の不確実性が解消される。

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used in solving structured convex optimization problems. Despite of its success in practice, the convergence properties of the standard ADMM for minimizing the sum of N (N ≥ 3) convex functions with N block variables linked by linear constraints, have remained unclear for a very long time. In this paper, we present convergence and convergence rate results for the standard ADMM applied to solve N-block (N ≥ 3) convex minimization problem, under the condition that one of these functions is convex (not necessarily strongly convex) and the other N − 1 functions are strongly convex. Specifically, in that case the ADMM is proven to converge with rate O(1/t) in a certain ergodic sense, and o(1/t) in non-ergodic sense, where t denotes the number of iterations.

研究の動機と目的

• N ≥ 3 個のブロックを含む多ブロック凸最適化における標準ADMMの収束特性に関する長年の不確実性を解消すること。
• 目的関数が1つの凸関数とN−1個の強凸関数からなる場合のADMMの収束速度を確立すること。
• このクラスの問題において、エルゴード的および非エルゴード的両意味での収束速度に関する理論的保証を提供すること。
• 2ブロックの場合に収束がよく理解されているのとは異なり、ADMMの理論的理解を3ブロック以上の場合にまで拡張すること。

提案手法

• ADMMの反復点の進行を追跡するために、リャプノフ関数のアプローチを用いる。
• プライマルおよび双対の残差と目的関数値を組み合わせたポテンシャル関数を構築する。
• 1つの関数が凸で残りのN−1個の関数が強凸であるという仮定の下で収束を証明し、収束に十分な曲率を保証する。
• エルゴード的収束と非エルゴード的収束を区別し、平均化と点ごとの挙動に基づいてそれぞれ異なる収束速度を導出する。
• 1反復ごとのリャプノフ関数の減少を抑えるための重要な不等式を導出することで、最終的な収束速度に至る。

実験結果

リサーチクエスチョン

• RQ1 N ≥ 3 個のブロックを含むNブロック凸最適化において、1つの関数が凸で残りが強凸である場合、標準ADMMの収束速度は何か？
• RQ2 これらの条件下でADMMはエルゴード的意味で収束するか？ もしそうならば、どの程度の速度で収束するか？
• RQ3 非エルゴード的収束速度を確立できるか？ また、エルゴード的収束速度と比べてどう異なるか？
• RQ4 N−1個のブロックに強凸性が存在する場合、一般の多ブロック設定と比較して収束行動にどのような影響を与えるか？

主な発見

• 1つの関数が凸で残りのN−1個の関数が強凸である場合、ADMMはエルゴード的意味でO(1/t)の速度で収束する。
• 非エルゴード的収束速度はo(1/t)であり、点ごとの反復においてO(1/t)よりも速い減衰を示す。
• 収束結果は、凸性および強凸性の条件を超えて追加の修正や仮定を必要としない標準ADMM更新スキームの下で確立されている。
• 理論的分析により、ADMMがN ≥ 3の困難な多ブロック設定においても収束を保ち、保証可能な収束速度を達成することが確認された。
• これらの結果は、特に一部の成分が強凸である場合にADMMが多ブロック問題で実用的に成功する背景にある理論的基盤を提供する。