[论文解读] Improved Dropout for Shallow and Deep Learning

Zhe Li, Boqing Gong+1 more|arXiv (Cornell University)|Feb 6, 2016

Advanced Neural Network Applications参考文献 19被引用 12

一句话总结

本文提出一种依赖于分布的多项式丢弃方法，通过基于其二阶统计量自适应地采样特征或神经元，从而在浅层和深层学习中提升收敛速度与泛化能力。演化丢弃变体从训练小批量中实时计算采样概率，相较于标准丢弃，在CIFAR-100上实现了超过50%的收敛速度提升和10%以上的测试误差相对改善。

ABSTRACT

Dropout has been witnessed with great success in training deep neural networks by independently zeroing out the outputs of neurons at random. It has also received a surge of interest for shallow learning, e.g., logistic regression. However, the independent sampling for dropout could be suboptimal for the sake of convergence. In this paper, we propose to use multinomial sampling for dropout, i.e., sampling features or neurons according to a multinomial distribution with different probabilities for different features/neurons. To exhibit the optimal dropout probabilities, we analyze the shallow learning with multinomial dropout and establish the risk bound for stochastic optimization. By minimizing a sampling dependent factor in the risk bound, we obtain a distribution-dependent dropout with sampling probabilities dependent on the second order statistics of the data distribution. To tackle the issue of evolving distribution of neurons in deep learning, we propose an efficient adaptive dropout (named extbf{evolutional dropout}) that computes the sampling probabilities on-the-fly from a mini-batch of examples. Empirical studies on several benchmark datasets demonstrate that the proposed dropouts achieve not only much faster convergence and but also a smaller testing error than the standard dropout. For example, on the CIFAR-100 data, the evolutional dropout achieves relative improvements over 10\% on the prediction performance and over 50\% on the convergence speed compared to the standard dropout.

研究动机与目标

• 为解决标准丢弃方法因使用独立同分布（i.i.d.）采样而导致的收敛性能不佳问题，提出一种更有效的采样策略。
• 从理论上证明一种依赖于分布的丢弃方法，通过从数据二阶统计量推导出的采样概率，可最小化风险。
• 为深度学习开发一种高效且自适应的丢弃方法——演化丢弃，通过每轮小批量动态更新采样概率，以应对内部协变量偏移问题。
• 通过实证验证，所提出的丢弃方法在基准数据集上均优于标准丢弃，在收敛速度和测试误差方面表现更优。

提出的方法

• 提出多项式丢弃方法，其中特征或神经元以非均匀概率采样，该概率基于其方差或二阶统计量确定。
• 推导出使用多项式丢弃进行随机优化的风险边界，表明依赖于分布的采样可降低期望风险。
• 针对浅层学习，提出基于训练特征二阶统计量的数据相关丢弃方法，用于设定采样概率。
• 为深度学习开发演化丢弃方法，通过层输出的小批量统计量实时计算采样概率，以适应内部分布的动态变化。
• 利用小批量统计量高效计算采样概率，支持深度网络中的并行化与可扩展性。
• 将该方法视为一种数据相关正则化手段，保持与标准反向传播和推理的兼容性。

实验结果

研究问题

• RQ1 在浅层学习中，基于数据相关概率的多项式采样是否能优于i.i.d.丢弃，从而提升收敛速度与泛化能力？
• RQ2 在使用丢弃的随机优化中，如何最优地设置采样概率以最小化风险？
• RQ3 在深度网络中，自适应的、实时计算的采样概率是否能有效应对内部协变量偏移并加速训练？
• RQ4 在收敛速度与测试准确率方面，演化丢弃与批量归一化相比表现如何？

主要发现

• 在CIFAR-100上，演化丢弃相比标准丢弃实现了超过50%的收敛速度提升，并在测试误差上实现了10%以上的相对改善。
• 演化丢弃在CIFAR-10上与批量归一化性能相当，且使用标准丢弃时表现优异，证明其在缓解内部协变量偏移方面的有效性。
• 对于浅层学习，基于特征方差的数据相关丢弃相比均匀丢弃能实现更快的收敛速度。
• 所提方法在理论上基于风险边界最小化，表明依赖于分布的采样可产生更小的期望风险。
• 该方法未引入额外参数或层，保持了简洁性，并与标准深度学习框架完全兼容。
• 实证结果表明，该方法在MNIST、SVHN、CIFAR-10和CIFAR-100上均表现出一致的性能提升，验证了其鲁棒性与泛化能力。