[論文レビュー] Convergence rate analysis of several splitting schemes

Damek Davis, Wotao Yin|arXiv (Cornell University)|Jun 18, 2014

Optimization and Variational Analysis被引用数 9

ひとこと要約

本稿は、一般の凸性仮定の下で、Douglas-Rachford、Peaceman-Rachford、ADMM を含む分割アルゴリズムの収束速度解析を包括的に行う。固定点残差（FPR）および目的関数誤差のタイトな little-o 収束速度を確立し、非漸近的（nonergodic）には部分勾配法にほぼ並ぶ速度で、漸近的（ergodic）にはProximal Point Algorithm（PPA）にほぼ並ぶ速度で収束することを示す。

ABSTRACT

Splitting schemes are a class of powerful algorithms that solve complicated monotone inclusions and convex optimization problems that are built from many simpler pieces. They give rise to algorithms in which the simple pieces of the decomposition are processed individually. This leads to easily implementable and highly parallelizable algorithms, which often obtain nearly state-of-the-art performance. In the first part of this paper, we analyze the convergence rates of several general splitting algorithms and provide examples to prove the tightness of our results. The most general rates are proved for the \emph{fixed-point residual} (FPR) of the Krasnosel'skiĭ-Mann (KM) iteration of nonexpansive operators, where we improve the known big-$O$ rate to little-$o$. We show the tightness of this result and improve it in several special cases. In the second part of this paper, we use the convergence rates derived for the KM iteration to analyze the \emph{objective error} convergence rates for the Douglas-Rachford (DRS), Peaceman-Rachford (PRS), and ADMM splitting algorithms under general convexity assumptions. We show, by way of example, that the rates obtained for these algorithms are tight in all cases and obtain the surprising statement: The DRS algorithm is nearly as fast as the proximal point algorithm (PPA) in the ergodic sense and nearly as slow as the subgradient method in the nonergodic sense. Finally, we provide several applications of our result to feasibility problems, model fitting, and distributed optimization. Our analysis is self-contained, and most results are deduced from a basic lemma that derives convergence rates for summable sequences, a simple diagram that decomposes each relaxed PRS iteration, and fundamental inequalities that relate the FPR to objective error.

研究の動機と目的

• 一般の凸性仮定の下で、固定点残差（FPR）および目的関数誤差のタイトな収束速度バウンディングを確立すること。
• DRS や ADMM のようなアルゴリズムにおける非漸近的収束速度と漸近的収束速度の間の長年の理解のギャップを解消すること。
• タイトな例と理論的解析を通じて、導出された収束速度の最適性を示すこと。
• summable な列と基本的不等式に関するコア補題を用いて、収束速度結果を統一的かつ一般化すること。
• 分散型および分散化最適化設定への分析を拡張し、ネットワーク化および並列問題への応用を含めること。

提案手法

• summable で単調な列に関する基本的補題を用いて、非拡大作用素の Krasnosel’skiï-Mann 迴帰の収束速度を導出する。
• 緩和された Peaceman-Rachford 分割（PRS）の反復を成分ステップに分解するための簡単な図式を導入する。
• 緩和された PRS および DRS アルゴリズムにおいて、固定点残差（FPR）と目的関数誤差を結ぶ重要な不等式を確立する。
• FPR の収束速度解析を応用し、Douglas-Rachford Splitting（DRS）、Peaceman-Rachford Splitting（PRS）、ADMM の目的関数誤差収束速度を導出する。
• FPR のフレームワークを用いて、漸近的および非漸近的反復の両方を分析し、時間平均化反復と最終反復の収束を区別する。
• 局所的通信制約を持つグラフ上での問題の再定式化を通じて分散最適化に応用し、真に分散型のアルゴリズムを導く。

実験結果

リサーチクエスチョン

• RQ1 一般の凸性仮定の下で、Krasnosel’skiï-Mann 迴帰の固定点残差（FPR）の最もタイトな収束速度は何か？
• RQ2 一般の凸性仮定の下で、DRS、PRS、ADMM の非漸近的収束速度と漸近的収束速度はどのように比較できるか？
• RQ3 これらの分割スキームの収束速度が、タイトな例を通じて最適であることを示せるか？
• RQ4 一般の凸性仮定の下で、緩和された PRS および DRS アルゴリズムにおける FPR と目的関数誤差の関係は何か？
• RQ5 これらの収束速度は、グラフ上の分散型および分散化最適化にどのような意味を持つのか？

主な発見

• Krasnosel’skiï-Mann 迴帰の固定点残差（FPR）は little-o 速度で収束し、既知の big-O バウンディングを改善する。この結果はタイトである。
• Douglas-Rachford Splitting（DRS）では、非漸近的意味で目的関数誤差が little-o 速度で収束し、部分勾配法の知られている最も遅い速度にほぼ一致する。
• 漸近的意味では、DRS は目的関数誤差が O(1/(k+1)) の速度で収束し、Proximal Point Algorithm（PPA）と一致する。これは、近似的に最適な漸近的性能を示す。
• ADMM および PRS の収束速度は、すべての状況でタイトである。非漸近的目的関数誤差は o(1/sqrt(k+1)) の速度で減少し、FPR は o(1/(k+1)) の速度で収束する。
• グラフ上の分散最適化において、導出された非漸近的および漸近的収束速度は、より強い仮定の下での既存の線形収束結果を補完するものであり、新しいものである。
• タイトな例を用いて、導出された収束速度が、すべてのアルゴリズム的バリアントおよび設定において本質的に最適であることが示された。