[論文レビュー] On the Convergence of SARAH and Beyond

Bingcong Li, Meng Ma+1 more|arXiv (Cornell University)|Jun 5, 2019

Stochastic Gradient Optimization Techniques参考文献 39被引用数 4

ひとこと要約

この論文は、機械学習における有限和問題を最小化するための新しいバリアンス低減アルゴリズムであるL2S（Loopless SARAH）を導入する。再帰的勾配推定器と統一された解析フレームワークを活用することで、L2Sは最適な収束レートを達成する：強凸問題ではO((n+κ)ln(1/ε))、凸および非凸問題ではO(n + √n/ε)であり、nに依存しないステップサイズを用いて収束を保証する。これはSARAHの主要な制限要因を解消する。

ABSTRACT

The main theme of this work is a unifying algorithm, extbf{L}oop extbf{L}ess extbf{S}ARAH (L2S) for problems formulated as summation of $n$ individual loss functions. L2S broadens a recently developed variance reduction method known as SARAH. To find an $ε$-accurate solution, L2S enjoys a complexity of ${\cal O}\big( (n+κ) \ln (1/ε)\big)$ for strongly convex problems. For convex problems, when adopting an $n$-dependent step size, the complexity of L2S is ${\cal O}(n+ \sqrt{n}/ε)$; while for more frequently adopted $n$-independent step size, the complexity is ${\cal O}(n+ n/ε)$. Distinct from SARAH, our theoretical findings support an $n$-independent step size in convex problems without extra assumptions. For nonconvex problems, the complexity of L2S is ${\cal O}(n+ \sqrt{n}/ε)$. Our numerical tests on neural networks suggest that L2S can have better generalization properties than SARAH. Along with L2S, our side results include the linear convergence of the last iteration for SARAH in strongly convex problems.

研究の動機と目的

• 凸問題におけるSARAHのnに依存しないステップサイズに対する理論的保証の欠如に対処する。
• 特にSARAHの適用範囲を拡張することを目的とした、バリアンス低減手法の統一的収束解析を提供する。
• ループ構造や追加仮定を必要としない、最適な収束レートを達成する新しいアルゴリズムL2Sを開発する。
• 強凸設定におけるSARAHの最終反復の線形収束を確立する。
• ディープラーニングの実験において、L2SがSARAHよりも優れた一般化性能を示すことを示す。

提案手法

• 周期的な全勾配計算を必要とせず、再帰的勾配推定器を用いるSARAHのループレスな変種、L2Sを提案する。
• テレスコピング和の議論を用いて、再帰的勾配推定器の分散をバインドする、新しい解析技術を導入する。
• 収縮議論を用いて勾配の期待ノルムを解析し、初期誤差と関連付けることで収束レートを導出する。
• 凸問題においてnに依存しないステップサイズを用いるポリシーを導入し、n依存のチューニングの必要性を排除する。
• 理論的保証を伴って、凸および非凸問題、特にニューラルネットワークの学習にこの手法を適用する。
• 内側のループにおける反復の均等確率選択を実装することで、ε-精度解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ループ構造や周期的な全勾配評価を必要とせず、最適な収束を達成できるバリアンス低減手法を設計できるか？
• RQ2 凸問題において、nに依存しないステップサイズを許容しながら、L2SがSARAHと同等の収束レートを達成できるか？
• RQ3 強凸問題におけるSARAHの最終反復の収束挙動はいかなるものか？
• RQ4 ディープラーニング環境において、L2SがSARAHを一般化性能面で上回れるか？
• RQ5 凸、強凸、非凸問題におけるL2Sの最適なIFO複雑度は何か？

主な発見

• 強凸問題において、L2SはO((n + κ)ln(1/ε))のIFO複雑度を達成し、既存の最良レートと一致する。
• 凸問題において、L2Sはnに依存しないステップサイズを用いてO(n + √n/ε)の複雑度を達成し、SARAHに比べ理論的に改善されている。
• 非凸問題において、L2SはO(n + √n/ε)の複雑度を達成し、バリアンス低減手法における最良レートと一致する。
• 本研究では、強凸ケースにおけるSARAHの最終反復の線形収束が証明され、これは以前に確立されていなかった結果である。
• ニューラルネットワークにおける数値実験では、L2SがSARAHよりも一般化性能に優れていることが示され、実用的利点を示唆する。
• 解析により、L2Sが凸問題におけるnに依存しないステップサイズをサポートするために追加仮定を必要としないことが確認された。これは先行研究とは対照的である。