[论文解读] Learning Features with Parameter-Free Layers

Dongyoon Han, Youngjoon Yoo+2 more|arXiv (Cornell University)|Feb 6, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出用无需训练的运算（如最大池化和平均池化）替代深度神经网络中的可训练卷积层，作为核心构建模块，证明此类设计在不损失准确率的前提下，显著提升了模型速度与效率。该方法实现了更快的推理速度，同时降低了FLOPs和参数量，在ImageNet和COCO基准上实现了最先进的速度与鲁棒性表现。

ABSTRACT

Trainable layers such as convolutional building blocks are the standard network design choices by learning parameters to capture the global context through successive spatial operations. When designing an efficient network, trainable layers such as the depthwise convolution is the source of efficiency in the number of parameters and FLOPs, but there was little improvement to the model speed in practice. This paper argues that simple built-in parameter-free operations can be a favorable alternative to the efficient trainable layers replacing spatial operations in a network architecture. We aim to break the stereotype of organizing the spatial operations of building blocks into trainable layers. Extensive experimental analyses based on layer-level studies with fully-trained models and neural architecture searches are provided to investigate whether parameter-free operations such as the max-pool are functional. The studies eventually give us a simple yet effective idea for redesigning network architectures, where the parameter-free operations are heavily used as the main building block without sacrificing the model accuracy as much. Experimental results on the ImageNet dataset demonstrate that the network architectures with parameter-free operations could enjoy the advantages of further efficiency in terms of model speed, the number of the parameters, and FLOPs. Code and ImageNet pretrained models are available at https://github.com/naver-ai/PfLayer.

研究动机与目标

• 探究最大池化和平均池化等无参操作是否可作为深度网络中可训练层的主要构建模块。
• 提出一种使用无参操作构建高效架构的设计经验法则。
• 评估无参操作在卷积神经网络与视觉Transformer中的有效性。
• 证明这些操作可在降低计算成本的同时提升模型推理速度与鲁棒性。
• 探索新型可变形无参操作的潜力，及其替代自注意力机制的可能性。

提出的方法

• 作者在残差块中用最大池化和平均池化操作替代标准卷积层，将其作为主要的空间运算。
• 在完全训练的模型上进行广泛的消融实验，并通过神经架构搜索（NAS）识别使用无参操作的最优架构。
• 提出一种新型可变形最大池化操作，通过学习空间偏移量来提升特征表示能力，同时保持无参特性。
• 该方法被应用于ResNet风格的CNN和视觉Transformer（ViT、PiT），将自注意力或前馈层替换为最大池化。
• 在ImageNet上使用标准数据增强进行训练，并在COCO上进行微调以用于目标检测。
• 通过每秒处理图像数衡量吞吐量，以评估推理速度，同时使用FLOPs、参数量和准确率作为效率指标。

实验结果

研究问题

• RQ1 无参操作（如最大池化和平均池化）能否有效替代深度网络中可训练卷积层作为主要构建模块？
• RQ2 在高度依赖无参操作的情况下，哪些设计原则可实现高效且准确的网络架构？
• RQ3 与深度可分离卷积相比，无参操作在速度、FLOPs和准确率方面表现如何？
• RQ4 无参操作能否成功应用于视觉Transformer，替代自注意力机制？
• RQ5 无参操作是否能提升模型对分布偏移的鲁棒性，如在ImageNet-C和ImageNet-O上的表现？

主要发现

• 采用无参操作的模型推理速度优于基于深度可分离卷积的模型，在ViT-S中吞吐量最高提升48%。
• 在ImageNet上，基于最大池化的ResNet50达到75.3%的top-1准确率，FLOPs为181.8 GFLOPs，参数量为175.8M，推理速度优于基线模型。
• 可变形最大池化操作在COCO目标检测任务中使AP提升0.3个百分点，尽管其在ImageNet上的准确率略低。
• 使用最大池化操作的视觉Transformer模型在准确率上与基于深度可分离卷积的模型相当或更优，且吞吐量显著提升。
• 采用无参操作的模型在ImageNet-C和ImageNet-O上表现出更强的鲁棒性，表明其过拟合程度更低。
• 基于最大池化的ViT-S模型在使用CutMix和DeiT增强时达到80.6%的top-1准确率，比基线ViT-S高出1.7个百分点。