[論文レビュー] Local Convergence Properties of SAGA/Prox-SVRG and Acceleration

Clarice Poon, Jingwei Liang+1 more|arXiv (Cornell University)|Feb 7, 2018

Sparse and Compressive Sensing Techniques参考文献 3被引用数 10

ひとこと要約

本稿は、部分的滑らかさの下でSAGAおよびProx-SVRGアルゴリズムの局所線形収束を確立し、有限時間における多様体同定と高次元手法による超線形加速を示している。構造的非滑らか最適化問題に適用されるProximalバリアンス低減確率的勾配法のための統一的局所収束フレームワークを提供する。

ABSTRACT

Over the past ten years, driven by large scale optimisation problems arising from machine learning, the development of stochastic optimisation methods have witnessed a tremendous growth. However, despite their popularity, the theoretical understandings of these methods are quite limited in contrast to the deterministic optimisation methods. In this paper, we present a local convergence analysis for a typical type of stochastic optimisation methods: proximal variance reduced stochastic gradient methods, and mainly focus on the SAGA [12] and Prox-SVRG [43] algorithms. Under the assumption that the non-smooth component of the optimisation problem is partly smooth relative to a smooth manifold, we present a unified framework for the local convergence analysis of the SAGA/Prox-SVRG algorithms: (i) the sequences generated by the SAGA/Prox-SVRG are able to identify the smooth manifold in a finite number of iterations; (ii) then the sequence enters a local linear convergence regime. Beyond local convergence analysis, we also discuss various possibilities for accelerating these algorithms, including adapting to better local parameters, and applying higher-order deterministic/stochastic optimisation methods which can achieve super-linear convergence. Concrete examples arising from machine learning are considered to verify the obtained results.

研究の動機と目的

• 機械学習における広範な応用にもかかわらず、確率的最適化手法の理論的理解が限られていることに対処すること。
• 有限和構造を有する非滑らかで構造的な最適化問題の文脈において、SAGAおよびProx-SVRGの局所収束挙動を分析すること。
• これらのアルゴリズムが解の低次元多様体を有限反復内で同定し、その後線形収束するような条件を確立すること。
• 局所収束速度の向上のための戦略、特に適応的パラメータチューニングと高次元手法の探索。

提案手法

• 分析は、解において非滑らか正則化子が多様体に関して滑らかであるという部分的滑らかさの概念に根ざしている。
• この仮定の下で、SAGA/Prox-SVRGの多様体同定と局所線形収束を統一的に扱うフレームワークが構築された。
• この手法は、Proximalバリアンス低減勾配更新の構造に着目し、解の多様体付近での反復の挙動を分析する。
• 多様体の接空間上で勾配ダイナミクスを線形化し、射影演算子とヘッセ行列近似を用いて局所収束を確立する。
• 超線形収束を達成する適応的ステップサイズと高次元決定的／確率的手法の適用を通じて加速を検討する。
• 理論的結果は、LASSOや非滑らか正則化子を有する有限和問題を含む具体的な機械学習例で検証された。

実験結果

リサーチクエスチョン

• RQ1 SAGAおよびProx-SVRGが、部分的滑らかさの仮定の下で、有限反復内で解の低次元多様体を同定するのはどのような条件下か？
• RQ2 解の多様体が同定された後、SAGA/Prox-SVRGの局所収束速度はいかほどか？
• RQ3 適応的パラメータ選択や高次元手法を用いることで、局所収束速度を向上させられるか？
• RQ4 正則化子の部分的滑らかさが、確率的Proximal法の収束挙動にどのように影響するか？
• RQ5 ヘッセ行列と接空間への射影が、局所収束ダイナミクスを特徴付ける役割を果たすか？

主な発見

• 部分的滑らかさの仮定の下で、SAGAおよびProx-SVRGは解の滑らか多様体を有限反復内で同定する。
• 多様体同定後、反復はHessian行列と近似作用素の構造に依存する局所線形収束領域に入る。
• 収束速度は、多様体の接空間上で線形化された更新作用素の固有値特性に支配される。
• 適応的ステップサイズ選択と高次元手法を用いることで、標準の線形速度を超える超線形局所収束を達成できる。
• 理論的分析により、反復は $ \mathcal{O}(\|x_k - x^*\|) $ の局所収束速度で収束することが確認され、誤差項は射影とヘッセ行列近似によって制御される。
• 具体的な例（LASSOなど）は理論的結果を検証し、実際の応用において有限時間での多様体同定と線形収束が達成されることを示している。