[論文レビュー] Random Shuffling Beats SGD after Finite Epochs

Jeffery Z. HaoChen, Suvrit Sra|arXiv (Cornell University)|Jun 26, 2018

Stochastic Gradient Optimization Techniques参考文献 26被引用数 9

ひとこと要約

この論文は、強い凸性と2階微分可能性の下で、ランダムシャッフルSGDの非漸近的収束速度を初めて確立し、有限回のエポック後、標準的SGDよりも速く収束することを証明している。収束速度は $\mathcal{O}\bigl(\frac{1}{T^{2}} + \frac{n^{3}}{T^{3}}\bigr)$ であり、適切な $T$ に対してランダムシャッフルはSGDの $\mathcal{O}(1/T)$ 速度を厳密に上回ることを示している。スパースな設定では $\mathcal{O}(1/T^2)$ の改善された収束速度が得られる。

ABSTRACT

A long-standing problem in the theory of stochastic gradient descent (SGD) is to prove that its without-replacement version RandomShuffle converges faster than the usual with-replacement version. We present the first (to our knowledge) non-asymptotic solution to this problem, which shows that after a "reasonable" number of epochs RandomShuffle indeed converges faster than SGD. Specifically, we prove that under strong convexity and second-order smoothness, the sequence generated by RandomShuffle converges to the optimal solution at the rate O(1/T^2 + n^3/T^3), where n is the number of components in the objective, and T is the total number of iterations. This result shows that after a reasonable number of epochs RandomShuffle is strictly better than SGD (which converges as O(1/T)). The key step toward showing this better dependence on T is the introduction of n into the bound; and as our analysis will show, in general a dependence on n is unavoidable without further changes to the algorithm. We show that for sparse data RandomShuffle has the rate O(1/T^2), again strictly better than SGD. Furthermore, we discuss extensions to nonconvex gradient dominated functions, as well as non-strongly convex settings.

研究の動機と目的

• ランダムシャッフルSGDの実験的性能と収束解析の間の長年の理論的ギャップを解消すること。
• 有限で現実的なエポック数の後、ランダムシャッフルが標準的SGDよりも厳密に速く収束することを証明すること。
• 有限和問題における成分数 $n$ に明示的に依存する非漸近的収束速度を確立すること。
• より速い $\mathcal{O}(1/T)$ 未満の収束を達成するには $n$ 依存が避けられないことを示すこと。
• 勾配優位条件の下で非凸関数およびスパースデータの設定への分析を拡張すること。

提案手法

• 強い凸性およびリプシッツ的ヘッセ行列の仮定の下で、ランダムシャッフルSGDの非漸近的収束速度を導出する。
• 収束境界における $n$ の依存を捉えるために、新たな解析フレームワークを導入し、SGDより速い収束を示すために不可欠である。
• 最適解からの二乗距離に基づく再帰的不等式を用い、AM-GM不等式を適用してランダムシャッフルとSGDを比較する。
• 期待される二乗誤差が $\mathcal{O}(1/T^2 + n^3/T^3)$ として減少することを確立し、スパースな設定ではより緊密な境界を得る。
• 非凸関数がポリャク＝ロジャシエフスキー条件を満たす場合に拡張し、適応的ステップサイズ $\gamma = \frac{\log T}{\mu T}$ を用いて $\mathcal{O}(1/T)$ 収束を示す。
• $T$ と $n$ のトレードオフを分析し、$n$ 依存なしに $\mathcal{O}(1/T^{1+\delta})$ の収束速度が一般には達成不可能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 ランダムシャッフルSGDは有限回のエポック後、標準的SGDよりも速く収束するか？
• RQ2 成分数 $n$ に依存する非漸近的収束速度を、ランダムシャッフルに対して確立できるか？
• RQ3 スパースデータ設定では $\mathcal{O}(1/T^2)$ の収束速度が達成可能か？
• RQ4 より速い $\mathcal{O}(1/T)$ 未満の収束を達成するには、$n$ に最小限どの程度の依存が必要か？
• RQ5 非凸で勾配優位な関数において、ランダムシャッフルの収束行動はSGDとどのように異なるか？

主な発見

• 強い凸性と2階微分可能性の下で、ランダムシャッフルSGDは $\mathcal{O}\bigl(\frac{1}{T^{2}} + \frac{n^{3}}{T^{3}}\bigr)$ の速度で収束し、有限 $T$ に対してSGDの $\mathcal{O}(1/T)$ 速度よりも厳密に優れている。
• より速い $\mathcal{O}(1/T)$ 未満の収束を達成するには、境界における $n$ 依存が避けられないため、一般には $\mathcal{O}(1/T^{1+\delta})$ の収束速度は達成不可能である。
• スパース性レベル $\rho$ のスパースデータ設定では、収束速度が $\mathcal{O}(1/T^2)$ に改善され、SGDの $\mathcal{O}(1/T)$ 速度よりも厳密に優れている。
• ポリャク＝ロジャシエフスキー条件を満たす非凸関数に対しては、適応的ステップサイズ $\gamma = \frac{\log T}{\mu T}$ を用いてランダムシャッフルが $\mathcal{O}(1/T)$ 収束を達成する。
• 期待される二乗誤差が $\mu_{s(t)}$ を含む項の積で有界であることを証明し、この積がランダムシャッフルのサンプリング方式で最小化されることを示した。
• 二次関数 $f_i(x) = \frac{\mu_i}{2}\|x - x^*\|^2$ に対して等号が成立することを示し、境界のタイトネスを確認することで、収束速度が鋭いことを確認した。