[論文レビュー] Gradient descent in Gaussian random fields as a toy model for high-dimensional optimisation in deep learning

Mariano Chouza, Stephen Roberts+1 more|arXiv (Cornell University)|Mar 24, 2018

Gaussian Processes and Bayesian Inference参考文献 7被引用数 3

ひとこと要約

この論文は、深層学習の損失関数の形状をガウス過程としてモデル化し、高次元最適化における勾配降下法の挙動を研究する。1ステップ後の期待損失の改善量の解析的表現を導出し、改善後の損失が漸近的に正規分布に従うことを証明するとともに、高次元において勾配降下法がランダムサーチを著しく上回ることを示し、最適な学習率は $\eta_{ ext{opt}} \approx N^{-1/2}$ に比例することを示している。

ABSTRACT

In this paper we model the loss function of high-dimensional optimization problems by a Gaussian random field, or equivalently a Gaussian process. Our aim is to study gradient descent in such loss functions or energy landscapes and compare it to results obtained from real high-dimensional optimization problems such as encountered in deep learning. In particular, we analyze the distribution of the improved loss function after a step of gradient descent, provide analytic expressions for the moments as well as prove asymptotic normality as the dimension of the parameter space becomes large. Moreover, we compare this with the expectation of the global minimum of the landscape obtained by means of the Euler characteristic of excursion sets. Besides complementing our analytical findings with numerical results from simulated Gaussian random fields, we also compare it to loss functions obtained from optimisation problems on synthetic and real data sets by proposing a "black box" random field toy-model for a deep neural network loss function.

研究の動機と目的

• 高次元の深層学習最適化における勾配降下法の成功を、損失関数の形状をガウス過程（GRF）としてモデル化することで理解すること。
• 1ステップの勾配降下法後の損失値の分布に対する正確な解析的表現を導出すること。
• 勾配降下法とランダムサーチの性能を比較し、エクストリームセット理論を用いて期待されるグローバル最小値を推定すること。
• 数値シミュレーションおよび実データセット（MNISTなど）に学習させた「ブラックボックス」GRFモデルを用いて理論的予測を検証すること。

提案手法

• 高次元最適化の損失関数を、平方指数共分散 $k(r) = \exp(-r^2/2)$ を持つゼロ平均ガウス過程としてモデル化する。
• 1ステップの勾配降下法後の損失の一次モーメント $\mathbb{E}[\Phi_1]$ と二次モーメント $\text{Var}(\Phi_1)$ を、次元 $N$ と学習率 $\eta$ の関数として導出する。
• 高次元極限（$N \to \infty$）において、スケーリングされた損失 $\Phi_1$ が正規分布に漸近的に収束することを証明し、平均が $\propto -N^{1/2}$ で、分散が $N$ に依存しないことを示す。
• エクストリームセットのオイラー乗数を用いて、単位球内での期待グローバル最小値を推定し、勾配降下法の性能と比較可能にする。
• $N=500$ まで達するガウス過程の数値シミュレーションにより理論的予測を検証し、合成データおよびMNISTデータに学習させたGRFベースの「ブラックボックス」モデルを構築する。
• 最適な学習率 $\eta_{\text{opt}} \approx N^{-1/2}$ をランダムサーチと比較し、高次元におけるスケーリングの優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 パrameter空間の次元 $N$ が大きくなるに従い、1ステップの勾配降下法後の期待損失値はどのように変化するか？
• RQ2 高次元のGRFにおける勾配降下法の最適な学習率 $\eta_{\text{opt}}$ は何か？ また、ランダムサーチと比べてどのように異なるか？
• RQ3 高次元極限 $N \to \infty$ において、改善後の損失値 $\Phi_1$ の分布は正規分布に漸近的に収束するか？
• RQ4 期待損失値 $\mathbb{E}[\Phi_1]$ は、エクストリームセットのオイラー乗数を用いて推定された損失関数の期待グローバル最小値と比べてどの程度異なるか？
• RQ5 勾配降下法で学習された「ブラックボックス」GRFモデルは、MNISTなどの実データセットで競争力のある性能を達成できるか？

主な発見

• 1ステップの勾配降下法後の期待損失は $\mathbb{E}[\Phi_1] \approx -(N/e)^{1/2}$ に比例し、高次元においてランダムサーチに比べて著しく改善されることを示している。
• 最適な学習率は $\eta_{\text{opt}} \approx N^{-1/2}$ に比例し、期待損失を最小化し、低損失領域への収束を保証する。
• $\Phi_1$ の分布は $N \to \infty$ において漸近的に正規分布に従い、平均は $-N^{1/2}$ に比例し、分散は $N$ に依存しない。
• 高次元極限において、単位球内での期待グローバル最小値は $\mathbb{E}[\Phi_1]$ と $\sqrt{e}$ の係数の違いしかなく、勾配降下法が近似的に最小値領域に効率的に到達していることを示している。
• 数値シミュレーションにより、$N=500$ までに $\mathbb{E}[\Phi_1]$ と $\text{Var}(\Phi_1)$ の理論的予測が確認された。
• MNISTデータに5000パラメータのみで学習させた「ブラックボックス」GRFモデルは、96％以上のテスト精度を達成し、この簡易モデルが実際の深層学習問題の最適化ダイナミクスの本質を捉えていることを示している。