[论文解读] Comparison of Methods Generalizing Max- and Average-Pooling

Florentin Bieder, Robin Sandkühler+1 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Neural Network Applications参考文献 18被引用 5

一句话总结

本文比较了广义最大池化和平均池化的高级池化方法，包括一种基于最大函数可微近似的新型平滑最大池化（SMP）方法。在使用 Google Open Images v5 数据集的 VGG16 上的实验表明，与标准的最大池化或平均池化相比，性能并无显著提升，且大多数广义方法由于 ReLU 激活函数的影响，表现出更倾向于最大池化的行为。

ABSTRACT

Max- and average-pooling are the most popular pooling methods for downsampling in convolutional neural networks. In this paper, we compare different pooling methods that generalize both max- and average-pooling. Furthermore, we propose another method based on a smooth approximation of the maximum function and put it into context with related methods. For the comparison, we use a VGG16 image classification network and train it on a large dataset of natural high-resolution images (Google Open Images v5). The results show that none of the more sophisticated methods perform significantly better in this classification task than standard max- or average-pooling.

研究动机与目标

• 评估广义最大池化和平均池化的高级池化方法是否能在图像分类任务中提升性能。
• 探究所提出的平滑最大池化（SMP）方法是否相较于现有广义方法具有优势。
• 分析训练网络中广义池化层的学得行为，特别是其趋向于最大池化或平均池化的行为倾向。
• 评估自适应池化机制与固定最大池化和平均池化在标准分类设置下的影响。

提出的方法

• 提出一种基于最大函数可微近似的平滑最大池化（SMP）方法，采用对数求和指数（log-sum-exp）公式。
• SMP 通过温度超参数 τ 参数化，控制近似的平滑程度，其中 τ → 0 时趋近于真实最大值，τ → ∞ 时趋近于平均值。
• 将 SMP 与现有广义池化方法（如序数池化 OP）进行比较，OP 使用对排序后特征值的可学习权重。
• 在 Google Open Images v5 数据集上训练 VGG16 网络，采用多种池化变体，包括步幅卷积、平均池化、最大池化、SMP 和 OP。
• 通过分析各层中学习到的参数（如 SMP 中的 τ，OP 中的权重）来评估其向最大池化或平均池化行为的收敛情况。
• 采用固定的训练调度和学习率，以确保不同池化方法之间的公平比较。

实验结果

研究问题

• RQ1 广义池化方法（在最大池化和平均池化之间插值）是否能提升高分辨率自然图像的分类准确率？
• RQ2 所提出的平滑最大池化（SMP）方法在基于 VGG16 的分类任务中是否优于标准的最大池化和平均池化？
• RQ3 自适应池化层中的学习参数（如 SMP 中的 τ，OP 中的权重）在训练过程中如何演变？它们是否更倾向于最大池化或平均池化？
• RQ4 广义池化方法的梯度动态与标准最大池化和平均池化有何不同？这种差异如何影响学习过程？

主要发现

• 在 VGG16 分类任务中，未观察到任何广义池化方法（包括 SMP 和 OP）相较于标准最大池化或平均池化的性能显著提升。
• SMP 中学习到的温度参数 τ 在训练过程中持续减小，表明其收敛于最大池化行为，尤其在深层网络中更为明显。
• 在序数池化（OP）中，分配给最大值的权重（w₄）始终高于其他权重，而最小值权重 w₁ 始终低于 0.1，表明对最大池化具有强烈偏好。
• SMP 和 OP 的最终池化块几乎完全收敛至最大池化行为，表明在 ReLU 激活的网络中，存在强烈的向最大池化行为的归纳偏置。
• 在考虑训练方差后，使用挤压-激励网络（SEMP）带来的性能增益可忽略不计，且无统计显著性。
• 结果表明，ReLU 激活函数与最大池化主导的架构归纳偏置，限制了在标准分类设置中更复杂池化机制的收益。