[論文レビュー] Logarithmic landscape and power-law escape rate of SGD.

T. Mori, Liu Ziyin+2 more|arXiv (Cornell University)|May 20, 2021

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、時間変数の変換により乗法的ノイズを加法的ノイズに変換することで、確率的勾配降下法（SGD）のための確率微分方程式（SDE）を導出している。これにより、ネットワークパラメータの定常分布が損失の対数化されたものに関してべき乗則に従うことが明らかになった。局所的最小値からの脱出レートは、対数化された損失障壁の高さに依存し、SGDが有効次元が低い平坦な最小値を好む理由を説明している。

ABSTRACT

Stochastic gradient descent (SGD) undergoes complicated multiplicative noise for the mean-square loss. We use this property of the SGD noise to derive a stochastic differential equation (SDE) with simpler additive noise by performing a non-uniform transformation of the time variable. In the SDE, the gradient of the loss is replaced by that of the logarithmized loss. Consequently, we show that, near a local or global minimum, the stationary distribution $P_\mathrm{ss}( heta)$ of the network parameters $ heta$ follows a power-law with respect to the loss function $L( heta)$, i.e. $P_\mathrm{ss}( heta)\propto L( heta)^{-\phi}$ with the exponent $\phi$ specified by the mini-batch size, the learning rate, and the Hessian at the minimum. We obtain the escape rate formula from a local minimum, which is determined not by the loss barrier height $\Delta L=L( heta^s)-L( heta^*)$ between a minimum $ heta^*$ and a saddle $ heta^s$ but by the logarithmized loss barrier height $\Delta\log L=\log[L( heta^s)/L( heta^*)]$. Our escape-rate formula explains an empirical fact that SGD prefers flat minima with low effective dimensions.

研究の動機と目的

• 最小値の近くにおけるSGDの統計的挙動を、そのノイズ特性をモデル化することで理解すること。
• 平均二乗損失におけるSGDの乗法的ノイズの分析を困難にする課題に対処すること。
• 非一様な時間変換を用いて、乗法的ノイズを持つ簡略化されたSDEを導出すること。
• ネットワークパラメータの定常分布を損失の対数化されたものに関して特徴づけること。
• 脱出レートの式を通じて、SGDが有効次元が低い平坦な最小値をなぜ好むのかを説明すること。

提案手法

• 非一様な時間変換を適用して、SGDにおける乗法的ノイズを加法的ノイズに変換する。
• 損失の勾配を対数化された損失の勾配に置き換えたSDEを導出する。
• 最小値におけるヘッセ行列とミニバッチサイズを用いて、べき乗則の定常分布における指数φを決定する。
• 局所的最小値からの脱出レートを、対数損失障壁の高さΔlogL = log[L(θs)/L(θ*)] を用いてモデル化する。
• 最小値の近くで、定常分布P_ss(θ) ∝ L(θ)^{-φ} が成り立つことを示し、φは学習率、ミニバッチサイズ、およびヘッセ行列に依存することを示す。
• 脱出が原始的損失差ではなく、対数損失差によって支配されることを確立し、平坦な最小値の優遇を説明する。

実験結果

リサーチクエスチョン

• RQ1 SGDにおける乗法的ノイズは、最小値の近くにおけるネットワークパラメータの定常分布にどのように影響するか？
• RQ2 乗法的ノイズを加法的ノイズに変換することでSDEを簡略化するための変換は何か？
• RQ3 局所的最小値からの脱出レートは損失値の観点からどのように決定されるか？
• RQ4 なぜSGDは有効次元が低い平坦な最小値を好むのか？
• RQ5 SGD下でのパラメータの定常分布の関数的形は何か？また、損失の地形にどのように依存するか？

主な発見

• 最小値の近くにおけるSGDパラメータの定常分布はべき乗則に従う：P_ss(θ) ∝ L(θ)^{-φ} であり、φは学習率、ミニバッチサイズ、および最小値におけるヘッセ行列に依存する。
• 局所的最小値からの脱出レートは、対数損失障壁の高さΔlogL = log[L(θs)/L(θ*)] に依存し、原始的損失差ΔLではない。
• SGDは平坦な最小値を好む。これは、対数損失障壁高さが損失が小さい場合に鋭い最小値をより強くペナルティとして評価するためである。
• 非一様な時間変数への変換により、加法的ノイズを持つ正確なSDEが得られ、SGDダイナミクスの解析が簡略化された。
• 導出された脱出レートの式は、SGDが有効次元が低い最小値に収束する際に一般化性能が向上するという経験的観察を説明している。
• 定常分布のべき乗則的挙動は、低損失領域がより確率的であることを示唆しているが、これは対数損失スケールに重み付けされた場合に限る。