[论文解读] Improving the Resolution of CNN Feature Maps Efficiently with Multisampling

Shayan Sadigh, Pradeep Sen|arXiv (Cornell University)|May 28, 2018

Advanced Neural Network Applications参考文献 17被引用 3

一句话总结

本文提出多采样（multisampling）技术，通过在下采样过程中保留更多空间信息，提升卷积神经网络（CNN）特征图的分辨率。棋盘式下采样（checkered subsampling）是其具体实现方式，采用结构化的采样模式，将空间分辨率保持在50%（相较于传统最大池化中的25%），在不增加参数量的前提下，提升了ResNet和DenseNet的准确率，甚至无需微调即可改进预训练的ImageNet模型。

ABSTRACT

We describe a new class of subsampling techniques for CNNs, termed multisampling, that significantly increases the amount of information kept by feature maps through subsampling layers. One version of our method, which we call checkered subsampling, significantly improves the accuracy of state-of-the-art architectures such as DenseNet and ResNet without any additional parameters and, remarkably, improves the accuracy of certain pretrained ImageNet models without any training or fine-tuning. We glean possible insight into the nature of data augmentations and demonstrate experimentally that coarse feature maps are bottlenecking the performance of neural networks in image classification.

研究动机与目标

• 解决标准CNN中最终特征图过于粗糙所导致的性能瓶颈，该问题限制了图像分类任务的准确率。
• 克服下采样层中计算效率与空间信息保留之间的权衡。
• 在不增加模型参数或计算成本的前提下，保留高分辨率的空间特征。
• 通过最小的架构修改，使最先进模型实现更高准确率。
• 证明粗糙的最终特征图是现代CNN中关键的性能瓶颈。

提出的方法

• 提出多采样作为通用框架，通过在下采样过程中增加从特征图中采样的样本数量，以保留更多空间信息。
• 提出棋盘式下采样，一种使用类似棋盘图案的结构化二维下采样方法，每层选择50%的空间位置，而非传统方法的25%。
• 通过引入子图维度（submap dimension）来扩展特征图，以存储多个采样后的特征表示，从而支持跨子图的三维卷积操作。
• 使用低差异性晶格序列或随机采样器选择，避免在重复应用棋盘式下采样时产生对角线采样偏差。
• 在PyTorch等深度学习框架中实现该方法，仅需极少代码修改，可轻松将现有架构（如ResNet和DenseNet）转换为棋盘式CNN（CCNNs）。
• 在所有子图上应用相同的下采样模式，或随机改变模式，以改善特征采样的分布并减少空间偏差。

实验结果

研究问题

• RQ1 我们能否在不增加模型参数或计算成本的前提下，提升CNN特征图的分辨率？
• RQ2 在下采样层中保留更多空间信息是否能提升图像分类任务的准确率？
• RQ3 棋盘式下采样能否应用于现有预训练模型，以在不微调的情况下提升准确率？
• RQ4 现代CNN中的性能下降是否源于粗糙的最终特征图？该问题是否可被缓解？
• RQ5 与传统最大池化和空洞卷积相比，棋盘式下采样所采用的结构化采样模式在信息保留与计算效率方面表现如何？

主要发现

• 棋盘式下采样将每层特征图的空间分辨率提升至原始尺寸的50%，而标准最大池化仅为25%。
• 该方法在不增加任何参数的前提下，提升了ResNet和DenseNet等最先进模型的准确率。
• 将预训练的ImageNet模型转换为棋盘式CNN后，无需任何微调或再训练即可获得更高的top-1准确率。
• 该技术通过减少空间维度来保持计算效率，同时保留更多空间信息，避免了空洞卷积的高成本。
• 在子图上随机应用不同的棋盘采样器，可防止对角线采样偏差，改善特征分布。
• 子图维度支持三维卷积操作，可同时处理多个采样后的特征表示，从而增强特征表示能力。