[論文レビュー] Random Reshuffling: Simple Analysis with Vast Improvements

Konstantin Mishchenko, Ahmed Khaled+1 more|arXiv (Cornell University)|Jun 10, 2020

Stochastic Gradient Optimization Techniques参考文献 32被引用数 16

ひとこと要約

本稿は、有限和最適化におけるランダムリシャッフル（RR）の洗練された理論的分析を提示する。従来のステップサイズ、勾配バウンド、エポック数に関する仮定を排除した。収束速度を条件数依存性から $\kappa^2$ から $\kappa$（または $\sqrt{\kappa}$）に改善し、RRの実験的優位性を説明する明確な分散構造を明らかにした。また、シャッフル・ワンス（SO）の収束がタイトであり、既知の下界と一致することを確立した。

ABSTRACT

Random Reshuffling (RR) is an algorithm for minimizing finite-sum functions that utilizes iterative gradient descent steps in conjunction with data reshuffling. Often contrasted with its sibling Stochastic Gradient Descent (SGD), RR is usually faster in practice and enjoys significant popularity in convex and non-convex optimization. The convergence rate of RR has attracted substantial attention recently and, for strongly convex and smooth functions, it was shown to converge faster than SGD if 1) the stepsize is small, 2) the gradients are bounded, and 3) the number of epochs is large. We remove these 3 assumptions, improve the dependence on the condition number from $κ^2$ to $κ$ (resp. from $κ$ to $\sqrtκ$) and, in addition, show that RR has a different type of variance. We argue through theory and experiments that the new variance type gives an additional justification of the superior performance of RR. To go beyond strong convexity, we present several results for non-strongly convex and non-convex objectives. We show that in all cases, our theory improves upon existing literature. Finally, we prove fast convergence of the Shuffle-Once (SO) algorithm, which shuffles the data only once, at the beginning of the optimization process. Our theory for strongly-convex objectives tightly matches the known lower bounds for both RR and SO and substantiates the common practical heuristic of shuffling once or only a few times. As a byproduct of our analysis, we also get new results for the Incremental Gradient algorithm (IG), which does not shuffle the data at all.

研究の動機と目的

• 有限和最適化におけるランダムリシャッフル（RR）の理論的理解をより鋭くすること。
• 従来のRR収束解析に共通する制限的仮定（小さなステップサイズ、勾配の有界性、多数のエポック）を排除すること。
• 収束解析における新たな分散構造を通じて、RRがSGDよりも優れた実験的性能を示す理由を説明すること。
• 強い凸性を超えた非強凸および非凸目的関数への分析の拡張。
• シャッフル・ワンス（SO）および増分勾配（IG）のタイトな収束レートを確立すること。

提案手法

• RRにおけるバイアス付き勾配を扱うために、ブレグマン散発と再帰的誤差バウンドを用いた新しい解析フレームワークを構築する。
• RRの収束行動をSGDとは明確に区別する、新たな分散分解を導入し、実用的性能の高速化を説明する。
• 最小限の仮定の下で、強い凸、非強凸、非凸目的関数に対する収束レートを導出する。
• 再帰と和のバウンドを用いて、反復およびエポック間での誤差伝播を制御する。
• RRで用いられたのと同じツールを活用して、シャッフル・ワンス（SO）のタイトな収束バウンドを導出し、既知の下界と一致することを示す。
• 同様の解析を増分勾配（IG）に適用し、副次的に新たな収束結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 小さなステップサイズ、勾配の有界性、多数のエポックを仮定せずに、ランダムリシャッフルの収束を解析可能か？
• RQ2 RRの収束レートにおける条件数 $\kappa$ への真の依存性は何か？さらに改善可能か？
• RQ3 RRはSGDとは異なる分散構造を示し、その高速な実験的収束を説明できるか？
• RQ4 シャッフル・ワンス（SO）に対してタイトな収束バウンドを確立可能か？（初期化時に一度だけシャッフルする）
• RQ5 提案された解析は非凸および非強凸目的関数へどのように拡張可能か？

主な発見

• 強い凸関数に対して、RRの収束レートにおける条件数依存性が $\kappa^2$ から $\kappa$ に改善された。
• 非強凸目的関数に対しては、条件数依存性が $\kappa$ から $\sqrt{\kappa}$ に低減された。
• 解析により、RRに特有の分散構造が明らかになり、その高速収束に寄与することが分かった。これにより、RRの実験的優位性に理論的根拠が与えられた。
• シャッフル・ワンス（SO）のタイトな収束バウンドが確立され、既知の下界と一致した。これは、初期化時に一度だけシャッフルするという一般的なヒューリスティックの妥当性を裏付けた。
• 非凸目的関数に対しても解析が適用可能であり、先行研究と比較して改善された収束レートが得られた。
• 増分勾配（IG）に対しても新たな収束結果が導出された。IGは固定で非ランダムな順序で更新を行う。