[論文レビュー] Error bounds, quadratic growth, and linear convergence of proximal methods

Dmitriy Drusvyatskiy, Adrian S. Lewis|arXiv (Cornell University)|Feb 22, 2016

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

この論文は、凸および合成最適化のためのプロキシマル法において、誤差境界と2次的成長条件の等価性を確立し、強い凸性がなくても誤差境界が線形収束を示すことを証明している。主な貢献は、部分微分の度合いの下位正則性と線形収束速度を結びつける統一的枠組みを提供することであり、プロキシマル勾配法およびプロキシマル線形法への応用を含む。

ABSTRACT

The proximal gradient algorithm for minimizing the sum of a smooth and a nonsmooth convex function often converges linearly even without strong convexity. One common reason is that a multiple of the step length at each iteration may linearly bound the "error" -- the distance to the solution set. We explain the observed linear convergence intuitively by proving the equivalence of such an error bound to a natural quadratic growth condition. Our approach generalizes to linear convergence analysis for proximal methods (of Gauss-Newton type) for minimizing compositions of nonsmooth functions with smooth mappings. We observe incidentally that short step-lengths in the algorithm indicate near-stationarity, suggesting a reliable termination criterion.

研究の動機と目的

• 誤差境界と2次的成長を結びつける幾何的直感的基盤を明らかにすることで、強い凸性がなくてもプロキシマル法における線形収束を解明すること。
• 強い凸問題に限らない非滑らかおよび合成設定への誤差境界と2次的成長の等価性を一般化すること。
• メトリック下位正則性および部分微分の性質を用いて、プロキシマル勾配法およびプロキシマル線形法の統一的分析枠組みを提供すること。
• 短いステップ長が近似停留性に関連していることから、プロキシマルアルゴリズムにおける短いステップ長が信頼性の高い終了基準であることを確立すること。
• 傾き安定性および強いメトリック正則性条件の下で、非凸合成問題に対しても収束保証を拡張すること。

提案手法

• 誤差境界の代理として部分微分のメトリック下位正則性を用い、変分解析を通じて2次的成長と結びつける。
• 関数および部分微分の局所化を適用して、最小値の近傍におけるプロキシマル反復の挙動を分析する。
• 非凸および拡張実数値関数を含む合成問題に対処するため、$φ$-注意を払った局所化フレームワークを採用する。
• 部分微分包含と2次項を含む不等式を用いてステップ長の境界を導出し、反復と最適性を関連付ける。
• 凸および非凸設定の両方で、誤差境界条件と勾配に類似た写像の下位正則性の間の等価性を確立する。
• ステップ長に基づく終了基準を導入し、小さなステップが近似停留性を示していることを示す。

実験結果

リサーチクエスチョン

• RQ1 強い凸性がなくても、誤差境界の性質がプロキシマル法における線形収束を示す条件は何か？
• RQ2 非滑らかおよび合成最適化問題において、誤差境界と2次的成長条件はどのように関係しているか？
• RQ3 非凸設定においてプロキシマル線形法が自然な線形収束率を達成できるか、そしてそのためにより強い条件は何か？
• RQ4 部分微分のメトリック下位正則性がプロキシマルアルゴリズムの線形収束を保証する役割を果たすのはどのような場合か？
• RQ5 プロキシマル法におけるステップ長を、最適化の信頼性の高い終了基準としてどのように利用できるか？

主な発見

• 誤差境界の性質は、目的関数の2次的成長条件と等価であり、線形収束の幾何的基盤を提供する。
• 強い凸性がなくても、誤差境界条件が満たされていればプロキシマル勾配法の線形収束が保証される。
• プロキシマル線形法では、目的関数が傾き摂動下で一様な2次的成長を満たせば、自然な線形収束率が成立する。これは、傾き安定性または強いメトリック下位正則性と等価である。
• 標準的な誤差境界の下では、プロキシマル線形法はより悪い収束率を示すが、傾き安定性などのより強い条件が課されると改善される。
• アルゴリズムにおける短いステップ長は近似停留性を示しており、ステップサイズに基づく信頼性の高い終了基準を可能にする。
• 合成関数 $ h $ が有限値をとらなくても、あるいは凸でなくても、部分微分の下位正則性と誤差境界の等価性は、$ h $ がプロキシマブルである限り成立する。