[論文レビュー] Incremental Methods for Weakly Convex Optimization

Li Xiao, Zhihui Zhu+2 more|arXiv (Cornell University)|Jul 26, 2019

Sparse and Compressive Sensing Techniques参考文献 43被引用数 27

ひとこと要約

この論文は、機械学習や信号処理で一般的な弱凸最適化における段階的勾配降下、Proximal Point、Prox-linear 法を導入し、分析している。ε-ほぼ停留点を求めるためのO(ε⁻⁴)の反復複雑性と、鋭さ条件下での線形収束を証明している。これは、凸な設定を超えて、非滑らかで非凸な問題への段階的手法の収束速度解析を初めて拡張した論文である。

ABSTRACT

Incremental methods are widely utilized for solving finite-sum optimization problems in machine learning and signal processing. In this paper, we study a family of incremental methods -- including incremental subgradient, incremental proximal point, and incremental prox-linear methods -- for solving weakly convex optimization problems. Such a problem class covers many nonsmooth nonconvex instances that arise in engineering fields. We show that the three said incremental methods have an iteration complexity of $O(\varepsilon^{-4})$ for driving a natural stationarity measure to below $\varepsilon$. Moreover, we show that if the weakly convex function satisfies a sharpness condition, then all three incremental methods, when properly initialized and equipped with geometrically diminishing stepsizes, can achieve a local linear rate of convergence. Our work is the first to extend the convergence rate analysis of incremental methods from the nonsmooth convex regime to the weakly convex regime. Lastly, we conduct numerical experiments on the robust matrix sensing problem to illustrate the convergence performance of the three incremental methods.

研究の動機と目的

• 段階的手法の収束速度解析を、非滑らかで凸な設定から弱凸な設定へと拡張すること。
• 弱凸な有限和問題における段階的勾配降下、Proximal Point、Prox-linear 法の収束行動を分析すること。
• 弱凸な設定における反復複雑性の上限と線形収束の条件を確立すること。
• ロバスト行列センシングの数値実験を通じて、段階的手法が確率的および完全勾配降下法よりも実用的に優れていることを示すこと。

提案手法

• 弱凸な有限和問題における段階的手法の分析のための統一的フレームワークを提案する。
• 鋭さ条件の下で局所的線形収束を達成するために、幾何級数的に減少するステップサイズを用いる。
• 1つの成分関数ごとに更新を行うことで、全勾配の計算を回避する。
• 3つの手法を分析する：段階的勾配降下法（ISG）、段階的Proximal Point法（IPL）、段階的Prox-linear法（IPL）、可能であれば閉形式の更新を用いる。
• 収束がε-ほぼ停留点に達することを測るための自然な停留性測度を用いる。
• 成分関数の弱凸性とリプシッツ連続性の仮定を用いて、反復複雑性の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 弱凸な有限和問題における段階的勾配降下、Proximal Point、Prox-linear 法の反復複雑性は何か？
• RQ2 弱凸問題が追加の鋭さ条件を満たし、適切に初期化され、幾何級数的に減少するステップサイズが用いられる場合、段階的手法は線形収束を達成できるか？
• RQ3 収束速度とロバスト性の観点から、段階的手法は確率的および完全勾配降下法と比べて実際どのように異なるか？
• RQ4 初期ステップサイズが、特に非凸な設定においてこれらの手法の収束行動に果たす役割は何か？
• RQ5 どのような条件下で、段階的手法は収束速度と安定性の観点からその確率的対応手法を上回ることができるか？

主な発見

• 段階的勾配降下法、Proximal Point法、Prox-linear 法は、すべて弱凸問題においてε-ほぼ停留点を求めるための反復複雑性O(ε⁻⁴)を達成する。
• 弱凸問題が鋭さ条件を満たし、幾何級数的に減少するステップサイズで適切に初期化されている場合、3つの手法とも最適解へと線形収束する。
• 特に、その部分問題が閉形式の解を有する場合（例：ロバスト行列センシング問題）、段階的Prox-linear法は非常に有効である。
• 数値実験では、段階的手法が確率的および完全勾配降下法よりも収束が速く、ロバスト性に優れていることが示された。特に、減衰係数ρが小さい場合に顕著である。
• 段階的Proximal Point法およびProx-linear法は、段階的勾配降下法よりも初期ステップサイズの選択に対してはるかにロバストである。
• 実用的には、部分問題が解析的に解ける場合、収束速度とロバスト性のバランスを考慮すると、段階的Prox-linear法が推奨される。