[论文解读] Max-Pooling Dropout for Regularization of Convolutional Neural Networks

Haibing Wu, Xiaodong Gu|arXiv (Cornell University)|Dec 4, 2015

Advanced Neural Network Applications参考文献 8被引用 20

一句话总结

本文提出最大池化丢弃（max-pooling dropout），一种正则化技术，该技术在训练期间用一种基于概率加权的随机池化方法替代标准的最大池化，从而在测试时模拟模型平均。该方法通过在激活值上进行多项式采样引入随机性，从而在图像分类基准的实证评估中，优于标准最大池化和随机池化，提升了泛化能力。

ABSTRACT

Recently, dropout has seen increasing use in deep learning. For deep convolutional neural networks, dropout is known to work well in fully-connected layers. However, its effect in pooling layers is still not clear. This paper demonstrates that max-pooling dropout is equivalent to randomly picking activation based on a multinomial distribution at training time. In light of this insight, we advocate employing our proposed probabilistic weighted pooling, instead of commonly used max-pooling, to act as model averaging at test time. Empirical evidence validates the superiority of probabilistic weighted pooling. We also compare max-pooling dropout and stochastic pooling, both of which introduce stochasticity based on multinomial distributions at pooling stage.

研究动机与目标

• 研究丢弃在池化层中的有效性，其影响相较于全连接层尚不明确。
• 解决关于最大池化与类似丢弃正则化机制之间相互作用的理论与实证理解不足的问题。
• 提出一种新颖的概率加权池化机制，该机制在推理时可实现模型平均。
• 在泛化能力和性能方面，将最大池化丢弃与现有的随机池化方法进行比较。

提出的方法

• 在训练期间，用根据多项式分布采样激活值的随机池化操作替代标准的最大池化。
• 将最大池化丢弃形式化为在每个池化区域对特征图激活值进行多项式分布采样的等价形式。
• 引入一种概率加权池化层，该层使用从特征图值导出的softmax概率计算激活值的加权平均。
• 在测试时使用相同的概率池化层，通过多次随机前向传播实现模型平均。
• 使用标准反向传播训练网络，同时保持计算效率。
• 在标准图像分类数据集上，将所提方法与标准最大池化和随机池化进行比较。

实验结果

研究问题

• RQ1 最大池化丢弃在泛化能力和测试准确率方面与标准最大池化相比如何？
• RQ2 基于多项式采样的随机池化是否能提升卷积神经网络的模型鲁棒性与泛化能力？
• RQ3 所提出的概率加权池化层是否在测试时有效实现了模型平均？
• RQ4 最大池化丢弃与在激活值上进行多项式采样的理论等价性是什么？
• RQ5 在标准基准上，该方法相对于现有随机池化方法的表现如何？

主要发现

• 最大池化丢弃在理论上等价于在训练期间从多项式分布中采样激活值，提供了一种有原则的随机正则化机制。
• 所提出的概率加权池化在CIFAR-10和CIFAR-100数据集上的泛化能力优于标准最大池化和随机池化。
• 实证结果表明，通过概率池化实现的测试时模型平均带来了显著的准确率提升，尤其在深层网络中更为明显。
• 该方法在引入有意义的随机性于池化层的同时，保持了计算效率。
• 在多个实验中，该方法在测试准确率和鲁棒性方面均优于标准最大池化和随机池化。