[论文解读] Multi-Sample Dropout for Accelerated Training and Better Generalization

Hiroshi Inoue|arXiv (Cornell University)|May 23, 2019

Advanced Neural Network Applications参考文献 24被引用 52

一句话总结

多样本 dropout 会为每个输入创建多个 dropout 样本，平均它们的损失，并仅对最终的全连接层进行重复以加速训练并在与标准 dropout 相比之下改善泛化。

ABSTRACT

Dropout is a simple but efficient regularization technique for achieving better generalization of deep neural networks (DNNs); hence it is widely used in tasks based on DNNs. During training, dropout randomly discards a portion of the neurons to avoid overfitting. This paper presents an enhanced dropout technique, which we call multi-sample dropout, for both accelerating training and improving generalization over the original dropout. The original dropout creates a randomly selected subset (called a dropout sample) from the input in each training iteration while the multi-sample dropout creates multiple dropout samples. The loss is calculated for each sample, and then the sample losses are averaged to obtain the final loss. This technique can be easily implemented by duplicating a part of the network after the dropout layer while sharing the weights among the duplicated fully connected layers. Experimental results using image classification tasks including ImageNet, CIFAR-10, and CIFAR-100 showed that multi-sample dropout accelerates training. Moreover, the networks trained using multi-sample dropout achieved lower error rates compared to networks trained with the original dropout. The additional computation cost due to the duplicated operations is not significant for deep convolutional networks because most of the computation time is consumed in the convolution layers before the dropout layer, which are not duplicated.

研究动机与目标

• 为深度神经网络中的过拟合提供正则化技术的动机。
• 提出多样本 dropout 以加快训练并提升泛化能力。
• 展示在大规模和标准图像分类数据集上的有效性。
• 提供可与现有框架集成的实现指南。

提出的方法

• 通过在 dropout 层之后重复网络部分并共享权重，为每个输入创建多个 dropout 样本。
• 计算并对所有 dropout 样本的损失取平均，形成最终的训练目标。
• 将计算成本和准确性与原始 dropout 和无 dropout 基线进行比较。
• 显示推理阶段使用单一 dropout 样本以保持效率和一致性。
• 提供关于在网络中何处应用多样本 dropout 的实际指南（通常在靠近末端的位置）。
• 解释为何增加样本数量可以加速训练并提高准确性，同时考虑权衡。

实验结果

研究问题

• RQ1 相比原始 dropout，多样本 dropout 是否能够加速 CNN 和更深层网络的训练？
• RQ2 对多次 dropout 样本取平均的损失是否能在标准图像分类基准上提升泛化能力？
• RQ3 dropout 样本数量如何影响在不同架构（如 VGG16、ResNet、小型 CNN）和数据集上的训练时间和最终准确性？
• RQ4 在放置位置、采样计数和 dropout 比例等方面应用多样本 dropout 的实际指导原则是什么？

主要发现

• 多样本 dropout 通过有效增加样本多样性来加速训练，类似于更大的小批量，同时仅重复最终层。
• 在像 VGG16 这样的深度 CNN 中，使用八个 dropout 样本实现了收敛更快和每次迭代开销适度之间的有利权衡。
• 使用多样本 dropout 训练的网络在 CIFAR-10、CIFAR-100 和 ImageNet 变体上，相较于原始 dropout，最终验证误差和训练误差更低。
• 该技法对一系列 dropout 比例具有鲁棒性，通常比标准 dropout 获得更高的准确性，尽管增益因架构和数据大小而异。
• 在网络末端附近应用多样本 dropout 可以最小化开销并最大化收益，过多采样或较浅的网络会降低效率。
• 通常增加 dropout 样本数量会提高收敛速度和最终准确性，直到中等的极限（例如，大约八个样本）为止。