[论文解读] Dropout as data augmentation

Xavier Bouthillier, Kishore Konda+2 more|arXiv (Cornell University)|Jun 29, 2015

Machine Learning and Data Classification参考文献 25被引用 97

一句话总结

本文提出将dropout解释为一种数据增强方法，通过将dropout引起的噪声反投影到输入空间，生成合成的训练样本。在这些增强输入上训练确定性网络，可获得与标准dropout相当的性能，且新提出的随机噪声水平方案在不增加计算成本的情况下提升了泛化能力。

ABSTRACT

Dropout is typically interpreted as bagging a large number of models sharing parameters. We show that using dropout in a network can also be interpreted as a kind of data augmentation in the input space without domain knowledge. We present an approach to projecting the dropout noise within a network back into the input space, thereby generating augmented versions of the training data, and we show that training a deterministic network on the augmented samples yields similar results. Finally, we propose a new dropout noise scheme based on our observations and show that it improves dropout results without adding significant computational cost.

研究动机与目标

• 将dropout重新解释为不仅是一种正则化手段，更是在输入空间中的隐式数据增强。
• 提出一种通过将dropout噪声反投影到输入空间来生成合成训练数据的方法。
• 证明在这些合成样本上训练的确定性网络可实现与标准dropout相当的性能。
• 提出并评估一种使用随机噪声水平的新dropout噪声方案，以增加数据增强的多样性。
• 探究dropout的优势是否源于隐式的数据分布扩展，而不仅仅是防止神经元共适应。

提出的方法

• 使用随机梯度下降最小化重构误差，将隐藏层的dropout噪声反投影到输入空间。
• 构建多层损失函数，最小化所有层中原始激活与噪声激活之间的差异。
• 将反投影得到的输入作为增强训练数据用于确定性网络。
• 引入一种随机噪声水平方案，其中输入层和隐藏层的噪声水平均从一个范围内均匀采样，以提升多样性。
• 在增强数据上训练确定性网络，并在MNIST和CIFAR-10上评估性能。
• 与标准dropout及其他噪声方案（包括固定和可变噪声水平）进行结果比较。

实验结果

研究问题

• RQ1 是否可以在不依赖领域特定变换的情况下，有意义地将dropout解释为输入空间中的数据增强形式？
• RQ2 通过反投影dropout噪声生成的合成训练样本是否能实现与标准dropout相当的性能？
• RQ3 在dropout中引入随机噪声水平是否相比固定噪声水平能提升泛化能力？
• RQ4 新噪声方案带来的性能提升是源于样本多样性增加，还是正则化效果改善？
• RQ5 该反投影方法在更深的网络中是否仍能保持dropout的泛化优势？

主要发现

• 将dropout噪声反投影到输入空间可生成有效的合成训练样本，从而有效扩展数据分布。
• 在这些反投影样本上训练的确定性网络在MNIST和CIFAR-10上的测试准确率与标准dropout相当。
• 所提出的随机噪声水平方案（噪声水平均匀采样）在多种网络架构上均提升了分类性能。
• 该方法在MNIST排列不变分类任务上表现优异，取得了具有竞争力的结果。
• 随机噪声水平带来的性能提升归因于增强样本的多样性增加，防止模型适应于固定的噪声分布。
• 结果表明，dropout的泛化优势部分源于隐式数据增强，而不仅仅是防止共适应。