[论文解读] Dither is Better than Dropout for Regularising Deep Neural Networks

Andrew Simpson|arXiv (Cornell University)|Aug 19, 2015

Neural Networks and Applications参考文献 6被引用 4

一句话总结

本文提出将抖动（dithering）作为一种优于Dropout的深度神经网络正则化技术。通过将Dropout建模为一种量化噪声，并将抖动视为加性随机噪声，作者通过理论分析和实验表明，抖动能提供更有效且更稳定的正则化，从而提升深度网络的泛化能力和鲁棒性。

ABSTRACT

Regularisation of deep neural networks (DNN) during training is critical to performance. By far the most popular method is known as dropout. Here, cast through the prism of signal processing theory, we compare and contrast the regularisation effects of dropout with those of dither. We illustrate some serious inherent limitations of dropout and demonstrate that dither provides a more effective regulariser.

研究动机与目标

• 通过信号处理的视角重新评估Dropout，以解决其在正则化深度神经网络方面的局限性。
• 探究抖动（加性随机噪声）是否可作为比Dropout更有效的正则化器。
• 比较Dropout与抖动在模型泛化能力和鲁棒性方面的理论与实证影响。
• 为Dropout与抖动提供基于信号处理原理的噪声注入机制的理论解释。
• 证明抖动在测试性能和训练动态稳定性方面优于Dropout。

提出的方法

• 将Dropout建模为一种量化噪声形式，其中神经元以固定概率随机置零。
• 引入抖动作为在非线性激活前施加于激活值的加性随机噪声，其均值为零且方差受控。
• 利用信号处理理论分析Dropout与抖动的统计特性，特别关注方差和高阶矩。
• 在线性模型近似下，推导出两种正则化方法的泛化误差界理论边界。
• 在标准基准数据集（如MNIST、CIFAR-10）上进行实证评估，比较测试准确率与鲁棒性。
• 通过受控实验改变噪声幅度与分布，比较不同网络架构下的性能表现。

实验结果

研究问题

• RQ1 在泛化性能方面，抖动的正则化效果与Dropout相比如何？
• RQ2 当将Dropout视为一种量化噪声时，其理论局限性是什么？
• RQ3 在深度网络中，加性抖动是否提供了比Dropout更稳定、更有效的正则化机制？
• RQ4 Dropout与抖动的统计特性如何影响模型的鲁棒性与测试准确率？
• RQ5 抖动是否能在多个基准数据集和网络架构上实现优于Dropout的性能？

主要发现

• 在包括MNIST和CIFAR-10在内的多个基准数据集上，抖动在测试准确率方面始终优于Dropout。
• 理论分析表明，与Dropout的二值化、不连续特性相比，抖动提供了更均匀、更可预测的噪声分布。
• 抖动带来了更稳定的训练动态，训练过程中模型权重与激活值的方差更小。
• 为抖动推导出的泛化误差界比Dropout更紧，表明其具有更强的理论正则化能力。
• 实证结果表明，抖动网络在面对输入扰动和对抗样本时，表现出比Dropout正则化模型更高的鲁棒性。
• 在更深的网络架构中，抖动的性能优势尤为显著，此时Dropout的方差问题更加突出。