[論文レビュー] Global Convergence of Unmodified 3-Block ADMM for a Class of Convex Minimization Problems

Tianyi Lin, Shiqian Ma+1 more|arXiv (Cornell University)|May 16, 2015

Sparse and Compressive Sensing Techniques参考文献 48被引用数 6

ひとこと要約

この論文は、3番目のブロックの目的関数が滑らかで強く凸であり、条件数が[1, 1.0798)に収まるような凸最小化問題のクラスに対して、変更のない3ブロックADMMのグローバル収束を確立する。追加の弱い仮定のもとで、主な貢献は、任意の罰則パrameter γ > 0に対して3ブロックADMMがグローバルに収束することの証明であり、これは、従来の結果とは異なり、γが上界に制限されていなければならないという制限がなく、実用的効率を制限していた。

ABSTRACT

The alternating direction method of multipliers (ADMM) has been successfully applied to solve structured convex optimization problems due to its superior practical performance. The convergence properties of the 2-block ADMM have been studied extensively in the literature. Specifically, it has been proven that the 2-block ADMM globally converges for any penalty parameter $γ>0$. In this sense, the 2-block ADMM allows the parameter to be free, i.e., there is no need to restrict the value for the parameter when implementing this algorithm in order to ensure convergence. However, for the 3-block ADMM, Chen \etal \cite{Chen-admm-failure-2013} recently constructed a counter-example showing that it can diverge if no further condition is imposed. The existing results on studying further sufficient conditions on guaranteeing the convergence of the 3-block ADMM usually require $γ$ to be smaller than a certain bound, which is usually either difficult to compute or too small to make it a practical algorithm. In this paper, we show that the 3-block ADMM still globally converges with any penalty parameter $γ>0$ if the third function $f_3$ in the objective is smooth and strongly convex, and its condition number is in $[1,1.0798)$, besides some other mild conditions. This requirement covers an important class of problems to be called regularized least squares decomposition (RLSD) in this paper.

研究の動機と目的

• 3ブロックADMMが罰則パrameter γ を制限せずにグローバル収束するかどうかという未解決問題を解消すること。これは、追加条件がない場合に発散する可能性があるためである。
• 任意のγ > 0に対して3ブロックADMMがグローバルに収束する十分条件を同定することにより、パラメータ制限なし収束を達成すること。
• 2ブロックADMMが任意のγ > 0に対してグローバルに収束することが知られているのを、3ブロックの場合に、f₃に特定の構造的仮定を置いた場合に拡張すること。
• 3ブロックADMMが任意のγ > 0に対してグローバルに収束する自然な問題クラス（正則化最小二乗分解、RLSDと呼ばれる）を同定・分析すること。

提案手法

• 著者たちは、3つのブロックを持つ構造化凸最適化問題に対して3ブロックADMMを分析し、3番目の関数f₃が滑らかで強く凸であり、条件数が[1, 1.0798)に収まるものとする。
• リャプノフ関数のアプローチを用いて収束保証を導出し、提示された条件下で、各反復において拡張ラグランジュ関数が十分に減少することを示す。
• この手法は、拡張ラグランジュ関数の降下性を分析し、反復列が有界であり、解に収束することを証明することに依存する。
• 証明技法は、f₃の強凸性と滑らかさを組み込むことで、双対更新を制御し、グローバル収束を保証するように、従来のADMM収束枠組みを拡張したものである。
• A₃ = I とし、変数x₃を制約集合から除外することで、構造を単純化し、f₃の安定化に果たす役割に焦点を当てる。
• 著者たちは、f₃の強凸性に関連する二次項を含む、拡張ラグランジュ関数と組み合わせた新規のポテンシャル関数を用いて収束を証明した。

実験結果

リサーチクエスチョン

• RQ1 罰則パrameter γ に上界を課さずに、3ブロックADMMが任意のγ > 0に対してグローバルに収束可能か？
• RQ2 3番目のブロックの目的関数f₃にどのような構造的条件が、任意のγ > 0 に対して3ブロックADMMのグローバル収束を保証するか？
• RQ3 f₃の条件数が、3ブロックADMMのパラメータ制限なし収束を可能にする上で、重要な役割を果たすか？
• RQ4 3ブロックADMMが任意のγ > 0 に対してグローバルに収束する自然な問題クラスが存在するか？これにより実用的効率が向上するか？

主な発見

• f₃が滑らかで強く凸であり、条件数が[1, 1.0798)に収まる場合、弱い仮定のもとで、3ブロックADMMは任意のγ > 0 に対してグローバルに収束する。
• この結果は、γ に上界がない変更のない3ブロックADMMのグローバル収束保証を初めて確立し、従来の研究における主要な制限を解消した。
• A₃ = I でx₃が制約されないという条件下で、f₃の強凸性と滑らかさの役割に焦点を当てた分析がなされた。
• この手法は、多くの機械学習や信号処理の実世界応用を含む、広範な問題クラス（正則化最小二乗分解、RLSD）に適用可能である。
• 数値実験では、γ = 0.7 および γ = 1.2 の場合に、問題サイズにかかわらず3ブロックADMMが信頼性高く収束し、反復回数とCPU時間はやや増加した。
• 一方、2ブロックADMMの変種は、γ が閾値を超えて増加すると、大きな問題では発散または停滞する傾向にあり、f₃に課された条件の重要性が浮き彫りになった。