[论文解读] An empirical analysis of dropout in piecewise linear networks

David Warde-Farley, Ian Goodfellow+2 more|arXiv (Cornell University)|Dec 21, 2013

Adversarial Robustness in Machine Learning参考文献 17被引用 63

一句话总结

本文通过实证研究探讨了修正线性网络中的丢弃法，证明了针对几何均值推理的权重缩放近似方法极为精确且有效。研究显示，丢弃法中子网络之间的权重共享显著提升了泛化性能，超越了独立集成的效果；而仅添加噪声但未进行适当的集成优化，则无法复现丢脱法的优势。

ABSTRACT

The recently introduced dropout training criterion for neural networks has been the subject of much attention due to its simplicity and remarkable effectiveness as a regularizer, as well as its interpretation as a training procedure for an exponentially large ensemble of networks that share parameters. In this work we empirically investigate several questions related to the efficacy of dropout, specifically as it concerns networks employing the popular rectified linear activation function. We investigate the quality of the test time weight-scaling inference procedure by evaluating the geometric average exactly in small models, as well as compare the performance of the geometric mean to the arithmetic mean more commonly employed by ensemble techniques. We explore the effect of tied weights on the ensemble interpretation by training ensembles of masked networks without tied weights. Finally, we investigate an alternative criterion based on a biased estimator of the maximum likelihood ensemble gradient.

研究动机与目标

• 评估小规模ReLU网络中几何均值推理的权重缩放近似方法的准确性。
• 比较在丢弃训练模型的集成预测中，几何均值与算术均值的性能表现。
• 评估丢弃法中子网络之间的权重共享是否在独立模型平均之外进一步带来正则化效果。
• 研究一种受提升法启发的准则，使用与丢弃法相同的噪声，是否能通过优化集成似然性来提升泛化性能。

提出的方法

• 在小规模ReLU网络中穷举所有子网络，以计算预测的精确几何均值。
• 通过权重缩放方法计算几何均值，并与标准集成平均方法计算的算术均值进行性能对比。
• 训练独立的、无权重共享的掩码网络袋装集成，以与标准丢弃法的泛化性能进行比较。
• 提出并评估一种新的训练准则——“丢弃提升”（dropout boosting），使用类似提升法的有偏梯度估计器来优化集成似然性。
• 在丢弃法、丢弃提升和标准SGD之间使用相同的超参数和噪声分布，以确保公平比较。
• 在测试准确率上评估模型，并使用统计检验（Wilcoxon符号秩检验）评估性能差异的显著性。

实验结果

研究问题

• RQ1 在小规模ReLU网络中，几何均值预测的权重缩放近似方法有多准确？
• RQ2 在丢弃法集成的背景下，几何均值是否比算术均值得到更好的分类性能？
• RQ3 与独立集成相比，丢弃法中子网络之间的权重共享在多大程度上带来了正则化效果？
• RQ4 使用与丢弃法相同的掩码噪声、受提升法启发的训练准则，是否能通过优化不同目标来提升泛化性能，优于标准SGD？

主要发现

• 在小规模网络中，几何均值的权重缩放近似方法表现出极高的准确性，与精确几何均值非常接近。
• 在分类任务中，几何均值的性能与算术均值相当或更优，支持其作为有效且合理的替代方法。
• 采用权重共享（如标准丢弃法）训练的集成模型，显著优于相同规模但无权重共享的独立训练集成，表明权重共享增强了正则化效果。
• 所提出的“丢弃提升”准则，使用与丢弃法相同的噪声但优化不同目标，其性能并不优于标准SGD，且通常更差，表明仅靠噪声无法实现丢弃法的泛化优势。
• Wilcoxon符号秩检验显示，丢弃提升与SGD之间无显著性能差异（p > 0.7），进一步说明丢弃法的核心优势在于其集成结构，而非单纯的噪声注入。
• 结果表明，丢弃法的成功源于大规模隐式集成以及在不同上下文中协同学习的单元，而不仅仅是噪声本身。