[论文解读] Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning

Noah Frazier-Logue, Stephen José Hanson|arXiv (Cornell University)|Aug 10, 2018

Adversarial Robustness in Machine Learning参考文献 5被引用 8

一句话总结

本文证明了Dropout是Stochastic Delta Rule（SDR）的一个特例，SDR是一种更通用的框架，其中每个权重都是具有可学习均值和标准差的高斯分布随机变量。SDR在CIFAR-100上将测试误差降低了高达17%，并加速了收敛，在35%的训练时间内达到与Dropout相当的准确率。

ABSTRACT

Multi-layer neural networks have lead to remarkable performance on many kinds of benchmark tasks in text, speech and image processing. Nonlinear parameter estimation in hierarchical models is known to be subject to overfitting and misspecification. One approach to these estimation and related problems (local minima, colinearity, feature discovery etc.) is called Dropout (Hinton, et al 2012, Baldi et al 2016). The Dropout algorithm removes hidden units according to a Bernoulli random variable with probability $p$ prior to each update, creating random "shocks" to the network that are averaged over updates. In this paper we will show that Dropout is a special case of a more general model published originally in 1990 called the Stochastic Delta Rule, or SDR (Hanson, 1990). SDR redefines each weight in the network as a random variable with mean $μ_{w_{ij}}$ and standard deviation $σ_{w_{ij}}$. Each weight random variable is sampled on each forward activation, consequently creating an exponential number of potential networks with shared weights. Both parameters are updated according to prediction error, thus resulting in weight noise injections that reflect a local history of prediction error and local model averaging. SDR therefore implements a more sensitive local gradient-dependent simulated annealing per weight converging in the limit to a Bayes optimal network. Tests on standard benchmarks (CIFAR) using a modified version of DenseNet shows the SDR outperforms standard Dropout in test error by approx. $17\%$ with DenseNet-BC 250 on CIFAR-100 and approx. $12-14\%$ in smaller networks. We also show that SDR reaches the same accuracy that Dropout attains in 100 epochs in as few as 35 epochs.

研究动机与目标

• 建立Dropout与Stochastic Delta Rule（SDR）之间的理论联系，SDR是一种更通用但较早的框架。
• 研究SDR是否通过将权重建模为可学习的随机变量，能够在泛化能力和训练效率方面优于标准的Dropout。
• 在CIFAR-10和CIFAR-100等标准基准上，使用最先进的DenseNet架构评估SDR的性能。
• 证明SDR能够在实现更高测试准确率的同时实现更快的收敛速度。

提出的方法

• SDR将每个权重建模为具有可学习均值μ和标准差σ的高斯分布随机变量，并在每次前向传播中进行采样。
• 每个权重的均值和标准差根据预测误差的梯度进行更新，从而实现基于误差的噪声注入。
• SDR通过在训练过程中对指数级数量的权重配置进行随机采样，实现局部模型平均。
• 该方法可无缝集成到现有的深度学习框架中，仅需访问梯度和权重，代码修改极少。
• SDR在DenseNet-BC架构中实现，并在CIFAR-10和CIFAR-100上使用固定超参数进行评估。
• 训练过程采用自适应噪声注入，反映局部预测误差的历史，从而实现对权重空间的动态探索。

实验结果

研究问题

• RQ1 Dropout在数学上是否等价于Stochastic Delta Rule（SDR）的某个特定实例？
• RQ2 SDR是否能在标准图像分类基准上实现优于标准Dropout的泛化性能？
• RQ3 与Dropout相比，SDR是否能在保持或提升测试准确率的同时减少训练时间？
• RQ4 SDR的自适应噪声注入与Dropout的固定伯努利Dropout相比，在收敛速度和最终性能方面表现如何？

主要发现

• 与标准Dropout相比，SDR在CIFAR-100的DenseNet-BC 250上将测试误差降低了约17%。
• 在较小的DenseNet架构（如DenseNet-40）上，SDR在CIFAR-100上将测试误差降低了12%至14%。
• SDR在仅35个周期内即可达到与Dropout在100个周期内相同的最终验证误差。
• 在所有基准上，SDR将训练损失降低了80%以上，使用DenseNet-BC 250在CIFAR-100上的最终损失为0.11。
• 在121层DenseNet上的初步ImageNet结果表明，SDR相比Dropout将错误率降低了9%（从28.35降至25.80）。
• 权重的标准差参数在训练结束时几乎收敛至零，表明最终模型稳定且噪声极低。