[論文レビュー] Stagewise Training Accelerates Convergence of Testing Error Over SGD

Zhuoning Yuan, Yan Yan+2 more|arXiv (Cornell University)|Dec 10, 2018

Stochastic Gradient Optimization Techniques参考文献 32被引用数 13

ひとこと要約

本稿は、確率的勾配降下法（SGD）における学習率を幾何級数的に減少させる段階的訓練が、特にポリアック＝ロジャシュエヴィッチ（PL）条件が成り立つ場合に、学習誤差およびテスト誤差の収束を加速する理論的根拠を提供する。非凸関数の一部（凸関数に近い関数）に対しては、多項式的減少するステップサイズを用いる通常のSGDと比較して、段階的SGDがより速い収束とよりタイトなテスト誤差バウンドを達成することを示している。

ABSTRACT

Stagewise training strategy is widely used for learning neural networks, which runs a stochastic algorithm (e.g., SGD) starting with a relatively large step size (aka learning rate) and geometrically decreasing the step size after a number of iterations. It has been observed that the stagewise SGD has much faster convergence than the vanilla SGD with a polynomially decaying step size in terms of both training error and testing error. {\it But how to explain this phenomenon has been largely ignored by existing studies.} This paper provides some theoretical evidence for explaining this faster convergence. In particular, we consider a stagewise training strategy for minimizing empirical risk that satisfies the Polyak-Łojasiewicz (PL) condition, which has been observed/proved for neural networks and also holds for a broad family of convex functions. For convex loss functions and two classes of "nice-behaviored" non-convex objectives that are close to a convex function, we establish faster convergence of stagewise training than the vanilla SGD under the PL condition on both training error and testing error. Experiments on stagewise learning of deep residual networks exhibits that it satisfies one type of non-convexity assumption and therefore can be explained by our theory. Of independent interest, the testing error bounds for the considered non-convex loss functions are dimensionality and norm independent.

研究の動機と目的

• 深層学習における段階的訓練の実験的成功が、なぜテスト誤差の収束を加速するのかを説明すること。
• 段階的SGDが多項式的減少するステップサイズを用いる通常のSGDと比較して、なぜより速い収束を達成するのかという理論的根拠を提供すること。
• 多くのニューラルネットワークおよび凸関数に成立するポリアック＝ロジャシュエヴィッチ（PL）条件下での収束を分析すること。
• 非凸損失関数に対して次元およびノルムに依存しないテスト誤差バウンドを確立すること。
• 深層残差ネットワーク上での理論の実証的検証を通じて、非凸性の仮定が実際の状況で満たされているかどうかを確認すること。

提案手法

• 複数の段階にわたり幾何級数的に減少する学習率を用いる段階的訓練アルゴリズムを提案する。
• 最適解からの距離を勾配ノルムが制御するPL条件下での収束を分析する。
• 最適化誤差と一般化誤差を統合したフレームワークを用いて、テスト誤差をバウンドする。
• 凸および非凸設定の両方に対して、同じ一般化誤差解析手法（例：安定性またはラデマッハ複雑度）を適用する。
• 二段階アプローチを採用する：各段階内で固定学習率でSGDを実行し、その後に学習率を幾何級数的に減少させる。
• 深層残差ネットワーク上での実験的分析を通じて理論的仮定を検証し、μ、θ、最小ヘッセ固有値を測定する。

実験結果

リサーチクエスチョン

• RQ1 なぜ幾何級数的に減少する学習率を用いる段階的訓練は、多項式的減少するステップサイズを用いる通常のSGDと比較して、テスト誤差の収束を速くするのか？
• RQ2 段階的SGDがテスト誤差収束において通常のSGDを上回る条件は何か？
• RQ3 実際の深層ニューラルネットワークが理論で要請する非凸性の仮定（例：一点弱い擬凸性）をどの程度満たしているか？
• RQ4 PL条件下での非凸目的関数に対するテスト誤差バウンドは、次元およびノルムに依存しないか？
• RQ5 同じ反復回数およびデータサンプル数のもとで、段階的SGDの収束速度は1/tおよび1/√tステップサイズを用いる通常のSGDと比べてどうか？

主な発見

• 段階的SGDは、1/tステップサイズを用いる通常のSGDと比較して、PL定数μにより良い依存関係を示し、学習誤差およびテスト誤差の両方の収束を速くする。
• 大規模かつ悪条件の問題（μ ≪ 1）に対しては、段階的SGDは1/√tステップサイズを用いる通常のSGDと比較して、顕著にテスト誤差を低減する。
• PL条件下での非凸目的関数に対するテスト誤差バウンドは、データ次元およびモデルノルムに依存せず、強力な理論的利点である。
• 深層残差ネットワーク上での実験により、一点弱い擬凸性仮定（θ > 1）および小さなμが訓練中に満たされていることが示され、理論フレームワークの妥当性が裏付けられた。
• 実験結果は、複数のデータセットおよび損失関数において、段階的学習が通常のSGDを上回り、学習誤差およびテスト誤差の両方の収束を改善することを確認した。
• ヘッセ解析の結果、ρ ≤ O(μ)の仮定は深層ネットワークでは成り立たないが、μおよびθの仮定が有効であるため、理論は依然として適用可能である。