[論文レビュー] SVRG meets SAGA: k-SVRG - A Tale of Limited Memory.

Anant Raj, Sebastian U. Stich|arXiv (Cornell University)|May 2, 2018

Stochastic Gradient Optimization Techniques参考文献 16被引用数 5

ひとこと要約

この論文は、SVRGとSAGAの間を補間することで、メモリ使用量と計算効率のバランスをとったバリアンス低減 stochastic 最適化アルゴリズムであるk-SVRGを導入する。強い凸問題では線形収束を達成し、非凸問題では定常点への収束を示すが、全データパスの必要がなく、全勾配履歴の保存も不要である。

ABSTRACT

In recent years, many variance reduced algorithms for empirical risk minimization have been introduced. In contrast to vanilla SGD, these methods converge linearly on strong convex problems. To obtain the variance reduction, current methods either require frequent passes over the full data to recompute gradients---without making any progress during this time (like in SVRG), or they require memory of the same size as the input problem (like SAGA). In this work, we propose k-SVRG, an algorithm that interpolates between those two extremes: it makes best use of the available memory and in turn does avoid full passes over the data without making progress. We prove linear convergence of k-SVRG on strongly convex problems and convergence to stationary points on non-convex problems. Numerical experiments show the effectiveness of our method.

研究の動機と目的

• バリアンス低減 stochastic 最適化におけるメモリ使用量と計算効率のトレードオフを解消すること。
• SVRGで勾配再計算時に全データパスを必要としないため、進行が停止するのを回避すること。
• SAGAが全データポイントの勾配を保存するのと比較して、メモリ使用量を削減すること。
• 利用可能なメモリに適応し、高速な収束を維持できるアルゴリズムを設計すること。
• 強い凸問題では線形収束を達成し、非凸問題では定常点への収束を実現すること。

提案手法

• k-SVRGは、過去の勾配のサブセットのみを保存するkステップメモリ機構を導入し、SAGAと比較してメモリ使用量を削減する。
• 参照勾配の更新頻度を全パスよりも低くすることで、SVRGと同様の制御変数戦略を採用する。
• 滑らかなウィンドウサイズkにおける勾配の累積平均を維持することで、バリアンス低減とメモリコストのバランスを取る。
• 現在の反復点とデータサンプリングに基づいて、どの勾配を保存・更新するかを動的に選択する。
• 部分的勾配履歴を活用することで、SVRGの低メモリフットプリントとSAGAの高速収束を組み合わせた手法である。
• 理論的分析により、kメモリフレームワークを用いて、強い凸および非凸設定下での収束を示した。

実験結果

リサーチクエスチョン

• RQ1 全データパスを回避しつつ、SAGAより少ないメモリを使用するバリアンス低減最適化手法を設計できるか？
• RQ2 過去k個の勾配に制限したメモリが収束速度と安定性に与える影響は何か？
• RQ3 限られたメモリでk-SVRGは強い凸問題において線形収束を達成できるか？
• RQ4 k-SVRGは非凸問題においても定常点への収束を維持できるか？
• RQ5 実際の応用において、k-SVRGはSVRGおよびSAGAと比較して収束速度とメモリ使用量の面で優れているか？

主な発見

• k-SVRGは強い凸問題において線形収束を達成し、理論的収束速度はSVRGおよびSAGAと一致する。
• 非凸問題においても定常点への収束を示し、凸設定を超えた適用可能性を拡張する。
• k個の勾配にメモリを制限することで、k-SVRGは全データパスを回避し、SVRGに比べて無駄な計算時間の削減を実現する。
• 数値実験により、k-SVRGが制限されたメモリ環境下でSVRGおよびSAGAを上回る収束速度を示した。
• メモリ使用量と収束速度の両立を効果的に実現しており、リソースが限られた大規模最適化に適している。
• 理論的分析により、k-SVRGが凸および非凸設定下で収束保証を維持することが確認された。