[论文解读] Generalizing Pooling Functions in Convolutional Neural Networks: Mixed, Gated, and Tree

Chen‐Yu Lee, Patrick W. Gallagher+1 more|arXiv (Cornell University)|Sep 29, 2015

Neural Networks and Applications参考文献 30被引用 312

一句话总结

本文提出了三种新颖的可微池化函数——混合最大-平均池化、门控最大-平均池化和树形池化——通过学习自适应的、与数据相关的组合方式，推广了卷积神经网络中传统的最大池化和平均池化。这些方法在多个基准测试中提升了性能，包括在MNIST、CIFAR10和SVHN上取得最先进结果，计算开销极低，参数量仅略有增加。

ABSTRACT

We seek to improve deep neural networks by generalizing the pooling operations that play a central role in current architectures. We pursue a careful exploration of approaches to allow pooling to learn and to adapt to complex and variable patterns. The two primary directions lie in (1) learning a pooling function via (two strategies of) combining of max and average pooling, and (2) learning a pooling function in the form of a tree-structured fusion of pooling filters that are themselves learned. In our experiments every generalized pooling operation we explore improves performance when used in place of average or max pooling. We experimentally demonstrate that the proposed pooling operations provide a boost in invariance properties relative to conventional pooling and set the state of the art on several widely adopted benchmark datasets; they are also easy to implement, and can be applied within various deep neural network architectures. These benefits come with only a light increase in computational overhead during training and a very modest increase in the number of model parameters.

研究动机与目标

• 通过将池化操作推广至固定的最大池化和平均池化之外，提升深度神经网络的性能。
• 使池化函数能够学习并适应特征图中复杂多变的模式。
• 设计可微分、可训练的池化机制，与卷积神经网络中的反向传播兼容。
• 通过树状结构架构探索分层的、可学习的池化滤波器融合。
• 证明推广后的池化方法能提升多种架构和数据集上的特征不变性与性能。

提出的方法

• 提出混合最大-平均池化，采用可学习的固定权重融合策略，结合最大池化和平均池化。
• 引入门控最大-平均池化，一种响应式变体，利用可学习的门控机制动态加权最大池化和平均池化的输出。
• 开发树形池化，一种分层的、可微分的结构，其中每个叶节点包含一个可学习的池化滤波器，内部节点对子节点输出执行可微分融合。
• 采用预设的二叉树结构，每个内部节点具有可学习的混合权重，支持通过反向传播进行端到端训练。
• 使用受LSTM门控启发的软性、可微分门控机制，以确保梯度能通过池化操作流动。
• 将所提出的池化层作为即插即用的模块，应用于AlexNet、GoogLeNet、NiN和DSN等标准卷积神经网络架构中，仅需极少的架构修改。

实验结果

研究问题

• RQ1 池化操作能否被推广至固定的最大池化和平均池化之外，以改善卷积神经网络中的特征表示？
• RQ2 学习组合池化函数（如最大池化和平均池化）是否能带来优于静态池化的性能和不变性？
• RQ3 可微分的、可学习的树状结构池化滤波器融合能否在复杂视觉识别任务中超越传统池化方法？
• RQ4 当将所提出的通用池化方法与其他最先进技术（如数据增强、批量归一化或多视角推理）结合时，其表现如何？
• RQ5 与标准池化相比，学习池化函数在大规模模型（如ImageNet）中的计算成本和参数开销如何？

主要发现

• 所提出的树形+最大-平均池化（每层一个）在MNIST（0.31%错误率）、CIFAR10（7.62%错误率）和SVHN（1.69%错误率）上达到最先进性能，优于标准池化和先前方法。
• 在CIFAR10上结合数据增强，该方法将错误率降低至6.05%，超越了FitNet和NiN等使用可学习激活函数的先前最先进结果。
• 在ImageNet 2012上，将AlexNet中的最大池化替换为树形池化和门控最大-平均池化，单视角评估下Top-5错误率相对降低6%（从19.9%降至18.7%）。
• 在GoogLeNet中，相同修改在多视角设置下使Top-5错误率降低5%（从9.15%降至8.93%），证明了其在不同架构间的泛化能力。
• 该方法仅增加5%–15%的训练时间，每网络增加的参数少于50个，尽管性能提升显著，但计算效率依然很高。
• 采用逐通道、逐区域的混合最大-平均池化策略（40,960个参数）在SVHN上达到新的最先进错误率（1.64%），证明了其在高参数成本下的可扩展性与有效性。