[論文レビュー] Iteration Complexity Analysis of Multi-Block ADMM for a Family of Convex Minimization without Strong Convexity

Tianyi Lin, Shiqian Ma+1 more|arXiv (Cornell University)|Apr 13, 2015

Sparse and Compressive Sensing Techniques参考文献 25被引用数 11

ひとこと要約

本稿は、強い凸性を仮定しない凸最適化における多ブロックADMMの反復複雑度の境界を確立する。摂動問題を用いてε-最適解のためのO(1/ε²)反復を証明し、Kurdyka-Łojasiewicz性質の下でO(1/ε)反復を達成する。強凸性のない設定への収束保証を拡張する。

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used in solving structured convex optimization problems due to its superior practical performance. On the theoretical side however, a counterexample was shown in [7] indicating that the multi-block ADMM for minimizing the sum of $N$ $(N\geq 3)$ convex functions with $N$ block variables linked by linear constraints may diverge. It is therefore of great interest to investigate further sufficient conditions on the input side which can guarantee convergence for the multi-block ADMM. The existing results typically require the strong convexity on parts of the objective. In this paper, we present convergence and convergence rate results for the multi-block ADMM applied to solve certain $N$-block $(N\geq 3)$ convex minimization problems without requiring strong convexity. Specifically, we prove the following two results: (1) the multi-block ADMM returns an $ε$-optimal solution within $O(1/ε^2)$ iterations by solving an associated perturbation to the original problem; (2) the multi-block ADMM returns an $ε$-optimal solution within $O(1/ε)$ iterations when it is applied to solve a certain sharing problem, under the condition that the augmented Lagrangian function satisfies the Kurdyka-Lojasiewicz property, which essentially covers most convex optimization models except for some pathological cases.

研究の動機と目的

• 強い凸性を仮定しない非強凸問題における多ブロックADMMの収束保証の欠如に対処すること。
• 多ブロックADMMの実践的成功と理論的理解の間のギャップを埋めること。
• 目的関数の強い凸性を要件としない多ブロックADMMの反復複雑度の境界を導出すること。
• 広範な凸モデルのクラスに対して、Kurdyka-Łojasiewicz性質の下での収束を確立すること。

提案手法

• 罰則パrameter γ を用いた増大ラグランジュアンフレームワークを用いて多ブロックADMMを分析する。
• 摂動技術を導入し、ε-最適性のためのO(1/ε²)反復複雑度を導出する。
• Kurdyka-Łojasiewicz性質を適用して、緩い条件下でのO(1/ε)反復複雑度を確立する。
• 有効反復平均化と双対ギャップ解析を用いて収束速度の境界を求める。
• 変分不等式とリャプノフ関数技術を用いて収束挙動を分析する。
• 初期反復と問題パラメータを用いて双対ギャップと制約違反の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性を仮定しない状況で、多ブロックADMMはO(1/ε²)の反復複雑度を達成できるか？
• RQ2 Kurdyka-Łojasiewicz性質が、多ブロックADMMのO(1/ε)収束を可能にするか？
• RQ3 強い凸性が欠如する状況で、多ブロックADMMの収束を保証する条件は何か？
• RQ4 摂動アプローチは、多ブロックADMMの収束速度にどのように影響するか？
• RQ5 Kurdyka-Łojasiewicz条件の下で、収束速度を向上させられるか？

主な発見

• 多ブロックADMMは、元の問題の摂動版を解く場合、ε-最適解をO(1/ε²)反復で返す。
• Kurdyka-Łojasiewicz性質の下では、多ブロックADMMはε-最適性のためのO(1/ε)反復複雑度を達成する。
• t = O(1/ε) のとき、双対ギャップと制約違反は両方ともO(ε)で有界である。
• 目的関数の強い凸性を要件としないで収束速度が確立されている。
• 解析は、病理的ケースを除き、ほとんどの標準的な凸最適化モデルをカバーする。
• 結果として、強い凸性を仮定する問題に限らない、より広範な問題クラスへの理論的保証が拡張された。