[論文レビュー] Variance-Reduced Stochastic Learning under Random Reshuffling

Bicheng Ying, Kun Yuan+1 more|arXiv (Cornell University)|Aug 4, 2017

Stochastic Gradient Optimization Techniques参考文献 15被引用数 12

ひとこと要約

本稿は、分散低減確率的最適化における長年の未解決問題である、SAGAアルゴリズムがランダムリシャッフル（RR）の下で線形収束することを理論的に証明する初の結果を提供する。さらに、定数領域のストレージとバランスの取れた勾配計算を実現する新アルゴリズムAVRGを提案し、RRの下で線形収束することが理論的に保証されており、SAGA や SVRG よりも優れた実用的効率性を示している。

ABSTRACT

Several useful variance-reduced stochastic gradient algorithms, such as SVRG, SAGA, Finito, and SAG, have been proposed to minimize empirical risks with linear convergence properties to the exact minimizer. The existing convergence results assume uniform data sampling with replacement. However, it has been observed in related works that random reshuffling can deliver superior performance over uniform sampling and, yet, no formal proofs or guarantees of exact convergence exist for variance-reduced algorithms under random reshuffling. This paper makes two contributions. First, it resolves this open issue and provides the first theoretical guarantee of linear convergence under random reshuffling for SAGA; the argument is also adaptable to other variance-reduced algorithms. Second, under random reshuffling, the paper proposes a new amortized variance-reduced gradient (AVRG) algorithm with constant storage requirements compared to SAGA and with balanced gradient computations compared to SVRG. AVRG is also shown analytically to converge linearly.

研究の動機と目的

• 分散低減確率的アルゴリズム（例：SAGA）が、ランダムリシャッフル（RR）の下で最小値に正確に収束するかどうかという長年の未解決問題を解消すること。実際の実験では、リプレースメント付き一様サンプリングよりRRが優れていることが観察されている。
• 強い凸性とLipschitz連続勾配の標準的仮定の下で、SAGAがランダムリシャッフルの下で線形収束することを、初めて厳密に理論的に保証すること。
• エポック全体にわたって全勾配計算を均等に分散化することで、O(N)（SAGAと同様）からO(1)にストレージを削減する新アルゴリズムであるアモアタイズド分散低減勾配（AVRG）を設計し、RRの下でも線形収束を維持するとともに、SAGA や SVRG よりも優れた性能を実現すること。
• 提案されたフレームワークを他の分散低減アルゴリズムへも拡張し、SAGAに限らない一般性を示すこと。

提案手法

• 反復誤差と過去勾配の平均を組み合わせた新しいリャプノフ関数を導出し、RRの下での収束を分析する。
• ランダムリシャッフルの構造と分散低減メカニズムを活用して、反復の期待二乗誤差をバインドする再帰的不等式フレームワークを導入する。
• エポック全体にわたって全勾配計算を均等に分散化することで、SAGAのO(N)からO(1)にストレージを削減する新アルゴリズムAVRGを提案する。
• 調整可能な係数γを有するパラメータ化されたリャプノフ関数を用い、誤差項と勾配追跡項のバランスを取ることで、より緊密な収束バインディングを可能にする。
• ステップサイズμに関する3つの主要な条件を確立し、特にμ ≤ ν/(9δ²N)を満たすことで、収束率α < 1の線形収束が保証されることを示す。
• まずSAGAに対して分析を適用し、その後、フレームワークがFinito や SAG といった他のアルゴリズムに対しても適応可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 強い凸性とδ-Lipschitz連続勾配の標準的仮定の下で、ランダムリシャッフルを用いたSAGAは、正確な最小値に線形収束するか？
• RQ2 分散低減アルゴリズムの理論的分析を、一様サンプリングとリプレースメントの下から、実際にはより優れているとされるランダムリシャッフルの下へ拡張可能か？
• RQ3 ランダムリシャッフルの下で線形収束を維持しながら、定数ストレージとバランスの取れた勾配計算を実現する新たな分散低減アルゴリズムを設計可能か？
• RQ4 SAGAおよびAVRGがランダムリシャッフルの下で線形収束を保証するためのステップサイズμの十分条件は何か？
• RQ5 提案されたAVRGアルゴリズムは、ランダムリシャッフルの下でSAGAやSVRGと比較して、収束速度および計算効率においてどのように優れているか？

主な発見

• 本稿は、ν-strong凸性とδ-Lipschitz連続勾配の標準的仮定の下で、SAGAがランダムリシャッフルの下で線形収束することを理論的に保証する初の結果を確立した。
• 収束率は線形であり、収束率α = (1 - μνN/4)/(1 - 3γδ²μ²N²) で与えられ、μ ≤ ν/(9δ²N) を満たすとα < 1となる。
• 提案されたAVRGアルゴリズムは、SAGAのO(N)からO(1)にストレージを削減し、反復間で勾配計算がバランスされる。
• AVRGは理論的にランダムリシャッフルの下で線形収束することが保証されており、SAGAと同様の収束率構造を有する。
• ステップサイズ条件μ ≤ ν/(9δ²N)は、リャプノフ関数の安定性および収縮性を含め、すべての収束条件を満たすことを保証する。
• この分析フレームワークは、Finito や SAG といった他の分散低減アルゴリズムへも一般化可能であり、RRに基づく最適化の理論的基盤を拡張する。