[论文解读] Fractional Max-Pooling

Benjamin Graham|arXiv (Cornell University)|Dec 18, 2014

Advanced Neural Network Applications参考文献 14被引用 335

一句话总结

本文提出分数最大池化（FMP），一种基于随机性的空间池化方法，通过非整数因子（1 < α < 2）减小特征图尺寸，从而实现更精细的特征层次结构并提升不变性。FMP 有效降低过拟合，且在不使用 dropout 的情况下于 CIFAR-100 上达到最先进性能，优于标准的 2×2 最大池化，在 MNIST、CIFAR-10 及手写字符识别任务等多个数据集上表现更优。

ABSTRACT

Convolutional networks almost always incorporate some form of spatial pooling, and very often it is alpha times alpha max-pooling with alpha=2. Max-pooling act on the hidden layers of the network, reducing their size by an integer multiplicative factor alpha. The amazing by-product of discarding 75% of your data is that you build into the network a degree of invariance with respect to translations and elastic distortions. However, if you simply alternate convolutional layers with max-pooling layers, performance is limited due to the rapid reduction in spatial size, and the disjoint nature of the pooling regions. We have formulated a fractional version of max-pooling where alpha is allowed to take non-integer values. Our version of max-pooling is stochastic as there are lots of different ways of constructing suitable pooling regions. We find that our form of fractional max-pooling reduces overfitting on a variety of datasets: for instance, we improve on the state-of-the art for CIFAR-100 without even using dropout.

研究动机与目标

• 为解决标准 2×2 最大池化存在的局限性，其会快速降低空间分辨率，并导致池化区域不连续，从而阻碍泛化能力。
• 探究是否采用更平缓的非整数池化因子 α（1 < α < 2）可改善特征层次结构与模型鲁棒性。
• 研究随机、重叠及伪随机池化区域选择对性能与泛化能力的影响。
• 评估 FMP 在减少过拟合与提升准确率方面的有效性，特别是在无 dropout 或大规模数据增强的情况下。

提出的方法

• FMP 使用非整数池化因子 α（例如 √2、∛2），以分数因子减小空间维度，而非如标准 2×2 池化那样将其减半。
• 池化区域通过随机或伪随机方式在特征图上选择，为池化操作引入可控的变异性。
• 允许区域重叠，相比不重叠区域可提升性能，因能更好地保留空间连续性与特征上下文信息。
• 每个区域内部仍采用最大池化，但区域位置与大小根据 α 值变化，从而实现多尺度特征表示。
• 发现伪随机与重叠池化区域配置优于随机或不重叠配置，尤其在结合数据增强时效果更佳。
• 该方法被应用于深层 CNN 架构中，通过多个 FMP 层替代标准最大池化层，以更长时间保持空间分辨率。

实验结果

研究问题

• RQ1 与标准 2×2 最大池化相比，非整数池化因子 α（1 < α < 2）是否能提升卷积神经网络的泛化能力？
• RQ2 在 FMP 中采用随机、重叠的池化区域选择是否能降低 CIFAR-100 和 MNIST 等小数据集的过拟合并提升性能？
• RQ3 FMP 与数据增强及 dropout 在编码对小扰动与平移的不变性方面相比如何？
• RQ4 在结合其他正则化技术时，使用伪随机与随机区域选择是否会影响模型性能？
• RQ5 FMP 是否能在不依赖 dropout 或大规模数据增强的情况下实现最先进性能？

主要发现

• 在 CIFAR-100 上，FMP 使用 α = √2 时，12 次随机权重初始化的测试误差为 26.39%，优于无 dropout 的标准 2×2 最大池化。
• 在 MNIST 上，采用重叠且伪随机区域的 FMP 将测试误差降低至 0.32%（12 次运行），显著低于标准 2×2 最大池化的 0.54%。
• 在阿萨姆语手写字符数据集上，FMP 网络在无数据增强条件下实现 0.7% 的误差（12 次运行），优于采用仿射数据增强的 MP2 网络（1.8% 误差）。
• 在 CASIA-OLHWDB1.1 数据集上，FMP 将测试误差降低至 2.97%（12 次运行），而基于标准 MP2 的模型在使用 dropout 与数据增强后仍为 3.82%。
• 在 CIFAR-10 上，FMP 在 100 次运行中实现 3.47% 的测试误差，优于采用相同增强方案的基线 MP2 模型，并与顶级 Kaggle 解决方案性能相当。