[论文解读] Dropout with Expectation-linear Regularization

Xuezhe Ma, Yingkai Gao+4 more|arXiv (Cornell University)|Sep 26, 2016

Adversarial Robustness in Machine Learning参考文献 26被引用 13

一句话总结

本文提出期望线性正则化方法，以显式控制Dropout训练中的推理差距，即模型在测试时的行为与其训练时的集成近似之间存在的偏差。通过正则化训练与推理期间期望输出之间的差异，该方法在不增加计算开销的情况下提升泛化性能，在MNIST、CIFAR-10和CIFAR-100等多个数据集上，对多种架构均实现了稳定的准确率提升。

ABSTRACT

Dropout, a simple and effective way to train deep neural networks, has led to a number of impressive empirical successes and spawned many recent theoretical investigations. However, the gap between dropout's training and inference phases, introduced due to tractability considerations, has largely remained under-appreciated. In this work, we first formulate dropout as a tractable approximation of some latent variable model, leading to a clean view of parameter sharing and enabling further theoretical analysis. Then, we introduce (approximate) expectation-linear dropout neural networks, whose inference gap we are able to formally characterize. Algorithmically, we show that our proposed measure of the inference gap can be used to regularize the standard dropout training objective, resulting in an \emph{explicit} control of the gap. Our method is as simple and efficient as standard dropout. We further prove the upper bounds on the loss in accuracy due to expectation-linearization, describe classes of input distributions that expectation-linearize easily. Experiments on three image classification benchmark datasets demonstrate that reducing the inference gap can indeed improve the performance consistently.

研究动机与目标

• 正式刻画标准Dropout中的推理差距，即测试时推理使用单个缩放网络，而非训练时的集成平均。
• 开发一种理论基础扎实且可计算的方法，用于在训练过程中量化并控制该差距。
• 提出一种正则化方案，显式最小化训练与推理行为之间的差异。
• 证明减小推理差距可提升模型泛化性能，且不损失训练效率。
• 通过理论分析建立权重约束（如max-norm）与减小推理差距之间的联系。

提出的方法

• 将Dropout形式化为潜在变量模型的可计算近似，从而更清晰地分析参数共享机制。
• 引入期望线性化概念，用于度量训练与推理期间期望输出之间的偏差。
• 提出一种正则化训练目标，将推理差距的采样估计值加入标准Dropout损失中。
• 使用蒙特卡洛采样在训练过程中近似期望线性化风险，以实现优化。
• 引入超参数λ以平衡推理差距减小与模型准确率之间的权衡。
• 理论分析表明，对权重施加max-norm约束可减小推理差距，为该方法在深度学习中的经验成功提供了理论依据。

实验结果

研究问题

• RQ1 如何对Dropout中的推理差距进行形式化量化，即测试时行为与训练时集成平均之间的差异？
• RQ2 max-norm等权重约束与推理差距大小之间存在何种关系？
• RQ3 显式正则化推理差距是否能在实践中提升泛化性能？
• RQ4 在不同正则化强度下，推理差距减小与模型准确率之间的权衡关系如何？
• RQ5 所提出方法是否优于或至少匹配现有的Dropout变体（如蒙特卡洛Dropout和Dropout蒸馏）？

主要发现

• 在MNIST上，该方法将2层ReLU网络（含8192个神经元）的测试误差从标准Dropout的1.07%降低至0.90%（采用期望线性化后）。
• 在CIFAR-10上，该方法在AllConv架构上达到10.86%的误差，与Dropout蒸馏的10.81%相当，优于标准Dropout的11.18%。
• 在CIFAR-100上，该方法在AllConv架构上达到35.10%的误差，优于标准Dropout的35.50%，并匹配Dropout蒸馏的35.07%。
• 经验上的期望线性化风险（Δ̂）随λ增大而减小，证实更强的正则化可有效减小推理差距。
• 最优λ值在不同数据集上均在1.0至2.0之间，此时性能达到峰值，实现差距减小与准确率的平衡。
• 理论分析确认，max-norm约束可减小推理差距，为该正则化方法在深度学习中的广泛应用提供了理论支持。