[論文レビュー] Convergence rate analysis of the forward-Douglas-Rachford splitting scheme

Damek Davis|arXiv (Cornell University)|Oct 9, 2014

Sparse and Compressive Sensing Techniques参考文献 30被引用数 4

ひとこと要約

本稿は、凸最適化に対する前方ドゥーリング・ラッハフォード分割（FDRS）アルゴリズムの包括的な収束速度解析を提供する。一般の凸性のもとで、収束の平均的および非平均的レートを確立し、滑らかさがリプシッツ連続微分可能である場合にFBSと同等の収束速度を達成することを示し、強い凸性および滑らかさのもとで線形収束を証明する。一方で、強い凸性のもとでもFDRSが任意に遅く収束する例も構成している。

ABSTRACT

Operator splitting schemes are a class of powerful algorithms that solve complicated monotone inclusion and convex optimization problems that are built from many simpler pieces. They give rise to algorithms in which all simple pieces of the decomposition are processed individually. This leads to easily implementable and highly parallelizable or distributed algorithms, which often obtain nearly state-of-the-art performance. In this paper, we analyze the convergence rate of the forward-Douglas-Rachford splitting (FDRS) algorithm, which is a generalization of the forward-backward splitting (FBS) and Douglas-Rachford splitting (DRS) algorithms. Under general convexity assumptions, we derive the ergodic and nonergodic convergence rates of the FDRS algorithm, and show that these rates are the best possible. Under Lipschitz differentiability assumptions, we show that the best iterate of FDRS converges as quickly as the last iterate of the FBS algorithm. Under strong convexity assumptions, we derive convergence rates for a sequence that strongly converges to a minimizer. Under strong convexity and Lipschitz differentiability assumptions, we show that FDRS converges linearly. We also provide examples where the objective is strongly convex, yet FDRS converges arbitrarily slowly. Finally, we relate the FDRS algorithm to a primal-dual forward-backward splitting scheme and clarify its place among existing splitting methods. Our results show that the FDRS algorithm automatically adapts to the regularity of the objective functions and achieves rates that improve upon the sharp worst case rates that hold in the absence of smoothness and strong convexity.

研究の動機と目的

• 単調包含および凸最適化問題を解くための前方ドゥーリング・ラッハフォード分割（FDRS）アルゴリズムの収束速度を分析すること。
• 一般の凸性、リプシッツ連続微分可能、強い凸性などのさまざまな正則性仮定のもとで、FDRSのタイトな収束速度を確立すること。
• FDRSが他の分割法（例えば、前方-バックワード法やプライマル・デュアルスキーム）とどのように関係するかを明らかにし、問題構造を効果的に活用できることを示すこと。
• FDRSが目的関数の正則性に自動的に適応し、滑らかさや強い凸性が存在する際により良い収束速度を達成できることを示すこと。
• 強い凸性のもとで高速収束が保証されない例を構成し、線形収束を保証するには追加の滑らかさ仮定が不可欠であることを強調すること。

提案手法

• 固定点反復とリャプノフ解析を用いて、一般の凸性のもとでFDRSの収束の平均的および非平均的レートを導出する。
• 滑らかな項がリプシッツ連続微分可能である場合、FDRSの最良反復の収束速度が、前方-バックワード分割（FBS）の最終反復と同一であり、$ O(1/k) $ の収束速度を達成することを示す。
• プライマル・デュアル解釈を適用して、FDRSを前方-バックワードプライマル・デュアルスキームと関連づけ、FDRSが作用素分割の族における位置を明確にする。
• ヒルベルト空間におけるスペクトル解析と固有値分解を用いて、強い凸性のもとでも任意に遅い収束を示す最悪ケースの例を構成する。
• 可分なヒルベルト空間上のパラメータ化されたベクトル列を用いて、反復の減衰率に依存する収束速度の下界を導出する。
• FDRS作用素を近似作用素、勾配、射影のステップの合成として解析し、エネルギー減少の議論とノルム不等式を用いて収束境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般の凸性仮定のもとで、前方ドゥーリング・ラッハフォード分割（FDRS）アルゴリズムの収束速度は何か？
• RQ2 滑らかな項がリプシッツ連続微分可能である場合、FDRSの収束速度は前方-バックワード分割（FBS）アルゴリズムと比べてどのようになるか？
• RQ3 FDRSが線形収束を達成する条件は何か？また、強い凸性のみでその保証は可能か？
• RQ4 目的関数が強く凸であっても、FDRSが任意に遅く収束する例は存在するか？その理由は何か？
• RQ5 構造の活用性とアルゴリズム的効率の観点から、FDRSは他のプライマルおよびプライマル・デュアル分割法とどのように関係しているか？

主な発見

• 一般の凸性のもとで、FDRSは最悪ケースにおいて、収束の平均的レートが$ O(1/k) $、非平均的レートが$ O(1/k) $ を達成し、これが最適である。
• 滑らかな項がリプシッツ連続微分可能である場合、FDRSの最良反復はFBSの最終反復と同一の収束速度を示し、$ O(1/k) $ の収束を達成する。
• 強い凸性のもとで、FDRSは最小値への強収束を生成し、非平均的意味での収束速度は$ O(1/k) $ である。
• 強い凸性およびリプシッツ連続微分可能性の両方を満たす場合、FDRSは線形収束を示し、すなわち$ \rho \in (0,1) $ に対して$ O(\rho^k) $ のレートを達成する。
• 本稿では、目的関数が強く凸であるがFDRSが任意に遅く収束する例の族を構成し、強い凸性のみでは線形収束を保証できないことを示している。
• FDRSの収束速度は適応的である：滑らかさや強い凸性といった追加の正則性が存在する際に速度が向上し、このような構造がない最悪ケースの境界を上回る性能を示す。