[論文レビュー] Convergence of Variance-Reduced Stochastic Learning under Random Reshuffling.

Bicheng Ying, Kun Yuan+1 more|arXiv (Cornell University)|Aug 4, 2017

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

この論文は、実際の性能向上が観察される一般的なヒューリスティックであるランダムリシャッフルの下で、SAGAアルゴリズムの線形収束に対する最初の理論的証明を提供する。さらに、定数のストレージを維持し、勾配計算をバランスさせる、新たなバリアンス低減アルゴリズムAVRGを導入し、既存の手法と比較して実用的で効率的な代替手段を提供する。

ABSTRACT

Several useful variance-reduced stochastic gradient algorithms, such as SVRG, SAGA, Finito, and SAG, have been proposed to minimize empirical risks with linear convergence properties to the exact minimizers. The existing convergence results assume uniform data sampling with replacement. However, it has been observed that random reshuffling can deliver superior performance. No formal proofs or guarantees of exact convergence exist for variance-reduced algorithms under random reshuffling. This paper resolves this open convergence issue and provides the first theoretical guarantee of linear convergence under random reshuffling for SAGA; the argument is also adaptable to other variance-reduced algorithms. Under random reshuffling, the paper further proposes a new amortized variance-reduced gradient (AVRG) algorithm with constant storage requirements compared to SAGA and with balanced gradient computations compared to SVRG. The balancing in computations are attained by amortizing the full gradient calculation across all iterations. AVRG is also shown analytically to converge linearly.

研究の動機と目的

• ランダムリシャッフル下でのバリアンス低減確率的アルゴリズムの理論的収束保証に関する未解決問題を解消すること。
• 線形収束を維持しながらストレージを削減し、計算負荷をバランスさせる新しいアルゴリズムAVRGを開発すること。
• 均等なサンプリング（復元抽出）からの理論的分析を、より実用的なランダムリシャッフル設定へと拡張すること。
• バリアンス低減最適化におけるランダムリシャッフルの経験的に観察される優れた性能に対する形式的裏付けを提供すること。

提案手法

• 非i.i.d.サンプリングのもとでSAGAの収束を分析するための新規理論的枠組みを提案し、線形収束を証明する。
• 全勾配計算を反復間で均等に分散させることで、計算コストをバランスさせつつ定数のストレージを維持するAVRGを導入する。
• データを復元抽出なしにランダムリシャッフルするSAGAフレームワークへの適応を実施し、一貫した勾配更新を保証する。
• 必要に応じてのみ更新される勾配の累積平均を維持するバリアンス低減メカニズムを採用し、メモリ使用量を削減する。
• 非一様サンプリングスキームの下で、確率的近似理論を用いて収束挙動を分析する。
• AVRGにおけるアーモナイゼーション戦略が、ストレージと計算の不均衡を最小限に抑えつつ、線形収束レートを維持することを示す。

実験結果

リサーチクエスチョン

• RQ1 SAGAにランダムリシャッフルを適用した場合、線形収束は成立するか？ もし成立するならば、どのような条件下で成立するか？
• RQ2 ランダムリシャッフル下でも線形収束を維持しながら、ストレージを最小限に抑え、計算負荷をバランスさせるバリアンス低減アルゴリズムは設計可能か？
• RQ3 バリアンス低減手法において、理論的にランダムリシャッフルの性能は、均等なサンプリング（復元抽出）と比較してどのように異なるか？
• RQ4 全勾配計算のアーモナイゼーション戦略が、収束性とメモリ効率に与える影響は何か？

主な発見

• 本論文は、ランダムリシャッフル下でのSAGAの線形収束に対する最初の理論的証明を確立し、長年の未解決問題を解決した。
• AVRGがランダムリシャッフル下でも線形収束することを示し、SAGAと同等の収束レートを維持しながら、定数のストレージ要件を満たすことが確認された。
• AVRGは勾配計算とストレージの間でバランスの取れたトレードオフを達成し、計算のバランスにおいてSVRGを上回り、メモリ効率においてSAGAを上回る。
• 理論的分析により、バリアンス低減設定においてランダムリシャッフルが均等なサンプリング（復元抽出）よりも速い収束をもたらすことが確認された。
• AVRGにおけるアーモナイゼーション戦略により、全勾配計算が反復間で均等に分散され、計算のピークを回避する。