[論文レビュー] Faster convergence rates of relaxed Peaceman-Rachford and ADMM under regularity assumptions

Damek Davis, Wotao Yin|arXiv (Cornell University)|Jul 19, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用数 35

ひとこと要約

本稿は、強い凸性、リプシッツ連続勾配、有界線形正則性などのさまざまな正則性仮定の下で、緩和されたペースマン＝ラッハフォード分割（PRS）およびADMMの収束速度を高速化することを確立している。これらのアルゴリズムが問題構造に自動的に適応し、最悪ケースの境界を超えて改善された収束速度を達成することを示している。解析には、summable sequenceの補題や固定点残差の不等式といった簡単な技術が用いられ、一部のケースでは改善された収束速度がタイトであることが確認されている。

ABSTRACT

Splitting schemes are a class of powerful algorithms that solve complicated monotone inclusion and convex optimization problems that are built from many simpler pieces. They give rise to algorithms in which the simple pieces of the decomposition are processed individually. This leads to easily implementable and highly parallelizable algorithms, which often obtain nearly state-of-the-art performance. In this paper, we provide a comprehensive convergence rate analysis of the Douglas-Rachford splitting (DRS), Peaceman-Rachford splitting (PRS), and alternating direction method of multipliers (ADMM) algorithms under various regularity assumptions including strong convexity, Lipschitz differentiability, and bounded linear regularity. The main consequence of this work is that relaxed PRS and ADMM automatically adapt to the regularity of the problem and achieve convergence rates that improve upon the (tight) worst-case rates that hold in the absence of such regularity. All of the results are obtained using simple techniques.

研究の動機と目的

• 一般の凸性よりも強い正則性仮定の下で、緩和されたペースマン＝ラッハフォード分割（PRS）およびADMMの包括的な収束速度解析を提供すること。
• 緩和されたPRSおよびADMMが問題の正則性に自動的に適応し、先行研究で確立された最悪ケースの境界を超えてより速い収束を達成できることを示すこと。
• 強い凸性やリプシッツ微分可能性などの条件下で、理論的最悪ケースの収束速度と実際の実行性能のギャップを埋めるために、改善された収束速度を導出すること。
• 固定点残差の境界やsummable sequenceの補題といった基本的技術を用いて、PRSおよびADMMの収束速度解析を統一的かつ拡張すること。
• 先行研究の例を用いて、与えられた仮定の下で新たな収束速度が改善できないことを示し、そのタイトさを検証すること。

提案手法

• Hilbert空間における非拡大作用素および平均化作用素の反復として、緩和されたPRSおよびADMMを固定点フレームワークで解析する。
• 収束速度を導出可能にするために、単調なsummable列に対する主要な補題（補題1.1）を適用し、固定点残差の減衰から収束速度を導出する。
• PRSおよびADMMの反復と収束挙動の関係を視覚化するための幾何的図（図LABEL:fig:DRSTR）を用いる。
• 基本的な不等式（命題2, 3, 4, 13）を用いて、固定点残差（FPR）と目的関数誤差との間の境界を導出し、残差の減衰と目的関数収束を結びつける。
• 非平均化（non-ergodic）および平均化（ergodic）収束速度を分析し、正則性タイプに応じて最良反復と平均反復の収束を区別する。
• 非制約の合成最小化問題（問題1）および線形制約付き問題（問題2）という複数の問題構造を検討し、ADMMは後者に適用する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性やリプシッツ勾配といったより強い正則性仮定がある場合、緩和されたPRSおよびADMMは、一般に知られる最悪ケースの$o(1/k)$および$O(1/k)$の収束速度を超えて、より速い収束速度を達成できるか？
• RQ2 緩和されたPRSおよびADMMは、問題構造に応じてどの程度適応的に収束を改善できるか。また、その適応性は形式的に特徴づけられ、境界化できるか？
• RQ3 強い凸性やリプシッツ微分可能性の下で導出された改善された収束速度はタイトか。それらはさらに改善可能か？
• RQ4 標準的乗数法（MM）やドーキング＝ラッハフォード分割（DRS）と比較して、緩和されたPRSおよびADMMの収束速度は、同様の仮定のもとでどの程度異なるか？
• RQ5 複雑な作用素理論に依存せずに、簡単で基本的な技術を用いて、さまざまな正則性条件の下で収束解析を統一できるか？

主な発見

• 関数$f$または$g$が強い凸性を満たす場合、緩和されたPRSは非平均化目的関数誤差に対して$o(1/k)$、平均化に対して$O(1/k)$の収束速度を達成し、最悪ケースの$o(1/k)$を改善する。
• $ abla g$がリプシッツ連続である場合、緩和されたPRSは非平均化で$o(1/k)$、平均化で$O(1/k)$の収束速度を達成し、追加の強い凸性があると線形収束$O(e^{-k})$を達成する。
• 線形制約付き問題にADMMを適用する場合、$f$または$g$が強く凸で、制約行列がフル行ランクならば、アルゴリズムはR線形収束$O(e^{-k})$を達成する。
• $ abla f$または$ abla g$がリプシッツで、問題が有界線形正則性を満たす場合、ADMMは非平均化目的関数誤差に対して$o(1/k)$、平均化に対して$O(1/k)$の収束速度を達成する。
• 強い凸性の下では緩和されたPRSの固定点残差（FPR）は$o(1/k)$の速度で収束し、リプシッツ勾配の下では$O(1/k)$で収束するが、平均化ケースではよりタイトな境界が得られる。
• 導出された収束速度がタイトであることが確認された：先行研究の反例を用いて、いくつかの収束速度は与えられた仮定のもとで改善できないことが示された。