[論文レビュー] Perturbation techniques for convergence analysis of proximal gradient method and other first-order algorithms via variational analysis

Xiangfeng Wang, Jane J. Ye+3 more|arXiv (Cornell University)|Oct 23, 2018

Sparse and Compressive Sensing Techniques参考文献 42被引用数 7

ひとこと要約

本稿は、変分解析に基づく新しい摂動技術を導入し、前向き勾配（PG）法、ADMM、PDHGなどの一次順序法における線形収束を確立する。連続する反復値の差を摂動としてモデル化することで、誘導された多価写像の落ち着き（c calmness）と静止値の局所的適切な分離が、線形収束を示すことを示し、非凸・非滑らか設定における収束の検証可能な条件を提供する。

ABSTRACT

We develop new perturbation techniques for conducting convergence analysis of various first-order algorithms for a class of nonsmooth optimization problems. We consider the iteration scheme of an algorithm to construct a perturbed stationary point set-valued map, and define the perturbing parameter by the difference of two consecutive iterates. Then, we show that the calmness condition of the induced set-valued map, together with a local version of the proper separation of stationary value condition, is a sufficient condition to ensure the linear convergence of the algorithm. The equivalence of the calmness condition to the one for the canonically perturbed stationary point set-valued map is proved, and this equivalence allows us to derive some sufficient conditions for calmness by using some recent developments in variational analysis. These sufficient conditions are different from existing results (especially, those error-bound-based ones) in that they can be easily verified for many concrete application models. Our analysis is focused on the fundamental proximal gradient (PG) method, and it enables us to show that any accumulation of the sequence generated by the PG method must be a stationary point in terms of the proximal subdifferential, instead of the limiting subdifferential. This result finds the surprising fact that the solution quality found by the PG method is in general superior. Our analysis also leads to some improvement for the linear convergence results of the PG method in the convex case. The new perturbation technique can be conveniently used to derive linear rate convergence of a number of other first-order methods including the well-known alternating direction method of multipliers and primal-dual hybrid gradient method, under mild assumptions.

研究の動機と目的

• 非凸・非滑らか最適化における一次順序アルゴリズムの統一的収束解析フレームワークの構築を目的とする。
• PG法、ADMM、PDHGなどのアルゴリズムが非凸条件下で線形収束率を検証するというギャップを埋める。
• 誤差バウンドに基づく条件を、より検証可能な落ち着き条件に置き換えるための摂動技術を提案する。
• PG反復が、制限部分微分点よりも優れた解の概念である近接部分微分静止点に線形収束することを示す。
• ADMMおよびPDHGに対しても同様の解析を拡張し、弱いが検証可能な仮定のもとで線形収束を確立する。

提案手法

• 連続する反復値の差を摂動パラメータとして用いて、摂動された静止点集合値写像を定義する。
• 摂動写像の落ち着きと静止値の局所的適切な分離が組み合わさることで線形収束が保証されることを証明することで、線形収束を確立する。
• 提案された摂動とKKT写像の標準的摂動との同値性を証明し、最近の変分解析のツールを適用可能にする。
• 摂動技術を前向き勾配法に適用し、蓄積点が近接部分微分静止点であることを示す。
• 反復スキームに特化した問題固有の摂動を導入することで、ADMMおよびPDHGに対してもフレームワークを拡張する。
• 得られた摂動KKT写像の落ち着きを用いて、誤差バウンドの仮定に依存せずに線形収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸・非滑らか設定における一次順序法の線形収束を分析するための新しい摂動技術を開発できるか？
• RQ2 摂動された静止点写像の落ち着きは、PG法の線形収束とどのように関係するか？
• RQ3 提案手法は、従来の誤差バウンドに基づくアプローチと比較して、収束条件の検証をより容易にできるか？
• RQ4 近接部分微分ではなく制限部分微分を用いて解析した場合に、PG法がより優れた解品質に収束するか？
• RQ5 同じ摂動フレームワークをADMMおよびPDHGに拡張し、弱い仮定のもとでそれらの線形収束を確立できるか？

主な発見

• 提案された摂動技術により、誘導された多価写像の落ち着きと静止値の局所的適切な分離が満たされれば、PG法の線形収束が確立される。
• 本手法により、PG反復の任意の蓄積点が近接部分微分静止点であることが示され、これは制限部分微分点よりも強く、一般に優れた解の概念である。
• 落ち着き条件はKKT写像の標準的摂動と同値であり、最近の変分解析ツールを用いて検証可能である。
• 落ち着きのための検証可能な十分条件が提供され、従来の誤差バウンドに基づく条件よりも容易にチェック可能である。
• 技術はADMMおよびPDHGに対しても成功裏に拡張され、問題固有の摂動を用いて弱い仮定のもとで線形収束を保証する。
• 凸ケースにおけるPG法の既存の線形収束結果を改善し、より鋭く一般性の高い条件を提供する。