[論文レビュー] On the Optimal Linear Convergence Rate of a Generalized Proximal Point Algorithm

Min Tao, Xiaoming Yuan|arXiv (Cornell University)|May 18, 2016

Optimization and Variational Analysis参考文献 30被引用数 3

ひとこと要約

本稿は、Rockafellarの条件の下で一般化されたプロキシマル点アルゴリズム（PPA）の最適線形収束速度を確立し、従来の結果を不正確および緩和されたバージョンに拡張している。古典的PPAにおける線形収束を保証する同一の条件が、一般化PPA（特に増大ラグランジュ法とADMM）に対しても最適線形収束を保証することを証明しており、凸最適化の文脈においては、より洗練された弱い条件が提示されている。

ABSTRACT

The proximal point algorithm (PPA) has been well studied in the literature. In particular, its linear convergence rate has been studied by Rockafellar in 1976 under certain condition. We consider a generalized PPA in the generic setting of finding a zero point of a maximal monotone operator, and show that the condition proposed by Rockafellar can also sufficiently ensure the linear convergence rate for this generalized PPA. Indeed we show that these linear convergence rates are optimal. Both the exact and inexact versions of this generalized PPA are discussed. The motivation to consider this generalized PPA is that it includes as special cases the relaxed versions of some splitting methods that are originated from PPA. Thus, linear convergence results of this generalized PPA can be used to better understand the convergence of some widely used algorithms in the literature. We focus on the particular convex minimization context and specify Rockafellar's condition to see how to ensure the linear convergence rate for some efficient numerical schemes, including the classical augmented Lagrangian method proposed by Hensen and Powell in 1969 and its relaxed version, the original alternating direction method of multipliers (ADMM) by Glowinski and Marrocco in 1975 and its relaxed version (i.e., the generalized ADMM by Eckstein and Bertsekas in 1992). Some refined conditions weaker than existing ones are proposed in these particular contexts.

研究の動機と目的

• 古典的PPAにおけるRockafellarの線形収束条件を、最大単調作用素のゼロ点を求める一般化PPAフレームワークへ拡張すること。
• 元のPPAと同一の条件下で、一般化PPAの正確および不正確バージョンの両方の線形収束を確立すること。
• 一般化PPAを凸最適化問題に適用し、特に増大ラグランジュ法（ALM）と交替方向乗数法（ADMM）に特化し、洗練された収束条件を導出すること。
• 本稿の収束条件が最適であり、ALMおよびADMMの変種における既存の条件よりも弱いかどうかを示すこと。
• ALM、ADMM、およびそれらの緩和版を含む主な作用素分割法の収束解析を、単一の理論的枠組みで統一すること。

提案手法

• 最大単調作用素 $ T $ に対して、$ z^{k+1} = J_{c_k T}(z^k) $ として一般化PPAを定式化し、$ c_k $ をプロキシマルパラメータとする。
• 不正確さが相対誤差許容誤差によって制御される不正確バージョンと正確バージョンの両方を分析する。
• Rockafellar (1976) の条件 — $ T^{-1} $ が 0 でリプシッツ連続であること — を用いて線形収束を保証する。
• リゾルベント作用素理論とメトリック正則性を用いて収束速度を確立し、特に作用素 $ S_{\lambda,\mathcal{A},\mathcal{B}} $ の逆作用素に注目する。
• ALMおよびADMMに一般枠組みを特化することで、凸最小化における線形収束の具体的な条件を導出する。
• 一般化ADMMを一般化PPAの特別なケースとして用い、$ M $ がフル列ランクであれば、プライマルおよび双対反復 $ \{x^k\} $、$ \{p^k\} $、$ \{Mx^k\} $ がR線形収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 古典的PPAにおけるRockafellarの線形収束条件を、不正確な部分問題を伴う一般化PPAフレームワークに拡張できるか？
• RQ2 特に凸最適化の文脈において、一般化PPAの線形収束の最も弱い十分条件は何か？
• RQ3 一般化PPAの収束結果は、ALM や ADMM といった広く使われる手法にどのように適用できるか？
• RQ4 本稿の収束条件は最適であり、既存の文献における条件と比べてどう異なるか？
• RQ5 一般化PPAフレームワークは、ADMMおよびその緩和版を含む複数の分割法の収束解析を統一できるか？

主な発見

• 不正確な部分問題を伴う一般化PPAは、古典的PPAと同一の条件下 — すなわち $ T^{-1} $ が 0 でリプシッツ連続であること — で線形収束を達成する。
• 確立された線形収束速度は最適であり、同じ仮定のもとでより速い収束率を保証することはできない。
• 増大ラグランジュ法（ALM）に対して、本稿では $ f $ が強く凸で $ \nabla f $ がリプシッツ連続である場合に、従来の知られていた条件よりも弱い条件を指定している。
• 一般化ADMMに対しては、$ M $ がフル列ランクであれば、プライマル変数 $ \{x^k\} $、双対変数 $ \{p^k\} $、および $ \{Mx^k\} $ がR線形収束することを示している。
• $ S_{\lambda,\mathcal{A},\mathcal{B}}^{-1} $ が 0 でリプシッツ連続であるという条件は、[9] や [8] における既存の仮定よりも弱いことが示されている。
• 本フレームワークは、ALM、ADMM、Douglas-Rachford法、Peaceman-Rachford法、およびそれらの一般化版の収束解析を統一し、それらの線形収束の共通の理論的基盤を提供している。