[论文解读] Gradient descent in Gaussian random fields as a toy model for high-dimensional optimisation in deep learning

Mariano Chouza, Stephen Roberts+1 more|arXiv (Cornell University)|Mar 24, 2018

Gaussian Processes and Bayesian Inference参考文献 7被引用 3

一句话总结

本文将深度学习损失曲面建模为高斯随机场，以研究高维优化中的梯度下降。推导了单步后期望损失改进的解析表达式，证明了改进后损失的渐近正态性，并表明在高维情况下梯度下降显著优于随机搜索，最优学习率呈 $\eta_{\text{opt}} \approx N^{-1/2}$ 的缩放关系。

ABSTRACT

In this paper we model the loss function of high-dimensional optimization problems by a Gaussian random field, or equivalently a Gaussian process. Our aim is to study gradient descent in such loss functions or energy landscapes and compare it to results obtained from real high-dimensional optimization problems such as encountered in deep learning. In particular, we analyze the distribution of the improved loss function after a step of gradient descent, provide analytic expressions for the moments as well as prove asymptotic normality as the dimension of the parameter space becomes large. Moreover, we compare this with the expectation of the global minimum of the landscape obtained by means of the Euler characteristic of excursion sets. Besides complementing our analytical findings with numerical results from simulated Gaussian random fields, we also compare it to loss functions obtained from optimisation problems on synthetic and real data sets by proposing a "black box" random field toy-model for a deep neural network loss function.

研究动机与目标

• 为了通过将损失曲面建模为高斯随机场（GRFs）来理解梯度下降在高维深度学习优化中成功的原因。
• 推导单步梯度下降后损失值分布的精确解析表达式。
• 将梯度下降性能与随机搜索进行比较，并利用水平集理论估计期望全局最小值。
• 通过模拟和在真实数据集（如MNIST）上训练的“黑箱”GRF模型验证理论结果。

提出的方法

• 将高维优化的损失函数建模为均值为零、平方指数协方差 $k(r) = \exp(-r^2/2)$ 的高斯随机场。
• 推导单步梯度下降后损失的一阶和二阶矩 $\mathbb{E}[\Phi_1]$ 与 $\text{Var}(\Phi_1)$，作为维度 $N$ 和学习率 $\eta$ 的函数。
• 在高维极限（$N \to \infty$）下证明归一化损失 $\Phi_1$ 的渐近正态性，表明其收敛至均值 $\propto -N^{1/2}$、方差恒定的正态分布。
• 利用水平集的欧拉示性数估计单位球内期望全局最小值，从而与梯度下降性能进行比较。
• 通过高达 $N=500$ 的GRF数值模拟验证理论预测，并在合成数据和MNIST数据上训练基于GRF的“黑箱”模型。
• 将最优学习率 $\eta_{\text{opt}} \approx N^{-1/2}$ 与随机搜索进行比较，证明其在高维下具有更优的缩放性能。

实验结果

研究问题

• RQ1 单步梯度下降后的期望损失值如何随参数空间维度 $N$ 变化？
• RQ2 在高维GRF中梯度下降的最优学习率 $\eta_{\text{opt}}$ 是什么？其与随机搜索相比表现如何？
• RQ3 当 $N \to \infty$ 时，改进后损失值 $\Phi_1$ 的分布是否收敛至正态分布？
• RQ4 $\mathbb{E}[\Phi_1]$ 与通过水平集欧拉示性数估计的期望全局最小值相比如何？
• RQ5 在真实数据集（如MNIST）上通过梯度下降训练的“黑箱”GRF模型能否实现有竞争力的性能？

主要发现

• 单步梯度下降后的期望损失缩放为 $\mathbb{E}[\Phi_1] \approx -(N/e)^{1/2}$，表明在高维下相比随机搜索有显著改进。
• 最优学习率缩放为 $\eta_{\text{opt}} \approx N^{-1/2}$，该值可最小化期望损失并确保收敛至低损失区域。
• 当 $N \to \infty$ 时，$\Phi_1$ 的分布渐近正态，其均值与 $-N^{1/2}$ 成正比，方差与 $N$ 无关。
• 在高维极限下，单位球内期望全局最小值与 $\mathbb{E}[\Phi_1]$ 仅相差 $\sqrt{e}$ 的因子，表明梯度下降能高效接近近似最小区域。
• 数值模拟验证了 $\mathbb{E}[\Phi_1]$ 和 $\text{Var}(\Phi_1)$ 的理论预测，覆盖至 $N=500$ 的维度。
• 在MNIST上仅用5000个参数训练的“黑箱”GRF模型测试准确率超过96%，表明该简化模型能捕捉真实深度学习问题的关键优化动力学。