[论文解读] Pooling Methods in Deep Neural Networks, a Review

Hossein Gholamalinezhad, Hossein Khosravi|arXiv (Cornell University)|Sep 16, 2020

Advanced Neural Network Applications参考文献 51被引用 183

一句话总结

本文综述了卷积神经网络中的池化方法，解释了它们在对特征图进行下采样、降低参数量以及缓解过拟合方面的作用，并讨论了各种广泛使用的池化技术。

ABSTRACT

Nowadays, Deep Neural Networks are among the main tools used in various sciences. Convolutional Neural Network is a special type of DNN consisting of several convolution layers, each followed by an activation function and a pooling layer. The pooling layer is an important layer that executes the down-sampling on the feature maps coming from the previous layer and produces new feature maps with a condensed resolution. This layer drastically reduces the spatial dimension of input. It serves two main purposes. The first is to reduce the number of parameters or weights, thus lessening the computational cost. The second is to control the overfitting of the network. An ideal pooling method is expected to extract only useful information and discard irrelevant details. There are a lot of methods for the implementation of pooling operation in Deep Neural Networks. In this paper, we reviewed some of the famous and useful pooling methods.

研究动机与目标

• 解释卷积神经网络中池化层在对特征图进行下采样方面的作用和重要性。
• 总结池化如何减少参数、降低计算成本并有助于防止过拟合。
• 调查并评估一系列池化方法及其特征与权衡。
• 突出理想池化方法在 CNNs 中应具备的理想特性。

提出的方法

• 提供深度神经网络中池化方法的文献综述。
• 讨论池化对空间分辨率、参数数量和模型泛化能力的影响。
• 分析不同池化实现的利弊及其实际影响。
• 确定基于信息保留和效率来定义理想池化方法的标准。

实验结果

研究问题

• RQ1 在深度神经网络中常用的池化方法有哪些，它们有何不同？
• RQ2 池化操作如何影响信息保留、计算成本和模型泛化？
• RQ3 在准确性和效率方面，不同池化技术存在哪些权衡？

主要发现

• 池化层对特征图进行下采样，降低空间维度与计算成本。
• 池化通过减少参数数量和特征图复杂性来帮助控制过拟合。
• 存在多种池化方法，它们各有优点和权衡，本文对其进行了讨论和比较。
• 本文强调需要能够提取有用信息而舍弃无关细节的池化方法。