[論文レビュー] Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent

Xiaowu Dai, Yuhua Zhu|arXiv (Cornell University)|Dec 3, 2018

Stochastic Gradient Optimization Techniques参考文献 4被引用数 8

ひとこと要約

本稿は、有限時間における脱出時間と漸近的収束挙動を分析することで、大規模バッチのSGDが鋭い極小値に収束するという仮説の理論的裏付けを提供する。SGDはバッチサイズにかかわらずより平坦な極小値に収束することを証明しており、学習率とバッチサイズの比が高くなるほど収束速度が向上するが、一般化性能には悪影響を及ぼす可能性がある。

ABSTRACT

Stochastic gradient descent (SGD) is almost ubiquitously used for training non-convex optimization tasks. Recently, a hypothesis proposed by Keskar et al. [2017] that large batch methods tend to converge to sharp minimizers has received increasing attention. We theoretically justify this hypothesis by providing new properties of SGD in both finite-time and asymptotic regimes. In particular, we give an explicit escaping time of SGD from a local minimum in the finite-time regime and prove that SGD tends to converge to flatter minima in the asymptotic regime (although may take exponential time to converge) regardless of the batch size. We also find that SGD with a larger ratio of learning rate to batch size tends to converge to a flat minimum faster, however, its generalization performance could be worse than the SGD with a smaller ratio of learning rate to batch size. We include numerical experiments to corroborate these theoretical findings.

研究の動機と目的

• Keskarら（2017）が提唱した、大規模バッチSGDが鋭い極小値に収束するという仮説の理論的裏付けを提供すること。
• 局所的極小値からのSGDの有限時間的脱出挙動を分析し、収束ダイナミクスを理解すること。
• バッチサイズに依存しない形で、SGDの漸近的収束特性（極小値の平坦さ）を調査すること。
• 学習率とバッチサイズの比が収束速度および一般化性能に与える影響を検討すること。
• SGDのハイパーパrameterと極小値の平坦さの関係について、理論的および実験的根拠を提供すること。

提案手法

• ミニバッチSGDを、勾配推定値から導かれるドリフト項と拡散項を持つ確率的微分方程式（SDE）の離散化としてモデル化する。
• Eulerスキームを用いてSDEと標準的なSGD更新則を結びつけ、拡散過程を用いた理論的分析を可能にする。
• 大偏差理論およびFreidlin-Wentzell理論を適用し、局所的極小値からその近隣の極小値への脱出時間を導出する。
• SGDの極限定常分布を導出し、より平坦な極小値が漸近的により選ばれやすいことを示す。
• 極小値に収束する確率を定量化するための確率的式を、ヘッセ行列の行列式および固有値を用いて導出する。
• 複数の極小値を有する合成損失関数を用いた数値的実験により、$M/\gamma$、ヘッセ行列、および分散の役割に関する理論的予測を検証する。

実験結果

リサーチクエスチョン

• RQ1 大規模バッチSGDは実際に鋭い極小値に収束するのか、そしてその仮説は理論的に裏付けられるか？
• RQ2 局所的極小値からのSGDの有限時間的脱出時間は、バッチサイズおよび学習率にどのように依存するか？
• RQ3 漸近的状態においてSGDの極小値の平坦さに関する挙動はどのようなものか？バッチサイズに依存せずより平坦な極小値が選ばれるのか？
• RQ4 学習率とバッチサイズの比が平坦な極小値への収束速度に与える影響は何か？
• RQ5 異なる$\gamma/M$比のもとで、平坦な極小値への収束速度と一般化性能のトレードオフはどのように変化するか？

主な発見

• SGDは局所的極小値から近隣の極小値への有限時間の脱出を示し、学習率とバッチサイズの比が大きいほどその時間が短くなる。
• 漸近的状態では、バッチサイズにかかわらずSGDはより平坦な極小値に収束するが、収束には指数的時間が必要となる可能性がある。
• 学習率とバッチサイズの比が高いほど、平坦な極小値への収束が加速するが、一般化性能が悪化する可能性がある。
• 極小値に収束する確率は、その極小値におけるヘッセ行列の固有値の積に比例するが、和や極値固有値には比例しない。
• 勾配推定値の分散が増加すると、$M/\gamma$比が平坦な極小値を優遇する効果が弱まる。
• 数値実験により、$M/\gamma$が増加するにつれて、鋭い極小値よりも平坦な極小値への収束確率がより速く増加することが確認された。特に、極小値間のヘッセ行列比が大きい場合に顕著である。