[论文解读] Large Separable Kernel Attention: Rethinking the Large Kernel Attention Design in CNN

Kin Wai Lau, Lai-Man Po+1 more|arXiv (Cornell University)|Sep 4, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出大型可分离卷积核注意力（LSKA），作为卷积神经网络中大型卷积核注意力（LKA）的计算效率更高的替代方案，通过将二维深度可分离卷积核分解为级联的一维水平与垂直卷积核实现。LSKA在保持与LKA相近性能的同时，将FLOPs和内存使用量减少高达50%，并提升了在损坏ImageNet数据上的形状偏好与鲁棒性。

ABSTRACT

Visual Attention Networks (VAN) with Large Kernel Attention (LKA) modules have been shown to provide remarkable performance, that surpasses Vision Transformers (ViTs), on a range of vision-based tasks. However, the depth-wise convolutional layer in these LKA modules incurs a quadratic increase in the computational and memory footprints with increasing convolutional kernel size. To mitigate these problems and to enable the use of extremely large convolutional kernels in the attention modules of VAN, we propose a family of Large Separable Kernel Attention modules, termed LSKA. LSKA decomposes the 2D convolutional kernel of the depth-wise convolutional layer into cascaded horizontal and vertical 1-D kernels. In contrast to the standard LKA design, the proposed decomposition enables the direct use of the depth-wise convolutional layer with large kernels in the attention module, without requiring any extra blocks. We demonstrate that the proposed LSKA module in VAN can achieve comparable performance with the standard LKA module and incur lower computational complexity and memory footprints. We also find that the proposed LSKA design biases the VAN more toward the shape of the object than the texture with increasing kernel size. Additionally, we benchmark the robustness of the LKA and LSKA in VAN, ViTs, and the recent ConvNeXt on the five corrupted versions of the ImageNet dataset that are largely unexplored in the previous works. Our extensive experimental results show that the proposed LSKA module in VAN provides a significant reduction in computational complexity and memory footprints with increasing kernel size while outperforming ViTs, ConvNeXt, and providing similar performance compared to the LKA module in VAN on object recognition, object detection, semantic segmentation, and robustness tests.

研究动机与目标

• 解决大型卷积核深度可分离卷积在大型卷积核注意力（LKA）模块中导致的FLOPs和内存使用量的二次增长问题。
• 在不增加计算复杂度的前提下，使CNN注意力模块能够使用极大规模的卷积核。
• 通过修改注意力机制的归纳偏置，提升模型的鲁棒性与形状偏好。
• 在损坏ImageNet和下游视觉任务上，对LSKA的性能与LKA、ViTs及ConvNeXt进行基准测试。
• 为视觉变换器和具有大感受野的CNN提供更高效、更具可扩展性的注意力机制。

提出的方法

• 将LKA中二维深度可分离卷积核分解为级联的一维水平与垂直卷积，以减少参数量和FLOP的增长。
• 采用与LKA相同的注意力机制，但使用可分离卷积核，通过1×1卷积保持相同的特征优化过程。
• 采用两阶段设计：首先使用小卷积核进行局部特征提取，然后通过空洞深度可分离卷积实现长距离依赖建模。
• 引入LSKA-trivial与LSKA变体，以评估卷积核分解对性能与效率的影响。
• 沿用与LKA相同的训练与推理流程，确保各模型间比较的公平性。
• 通过互信息估计形状与纹理的维度，分析卷积核大小与分解对归纳偏置变化的影响。

实验结果

研究问题

• RQ1 可分离卷积核分解是否能在不牺牲性能的前提下降低CNN中大型卷积核注意力的计算成本？
• RQ2 LSKA设计如何影响模型在特征表示中对形状与纹理的归纳偏置？
• RQ3 在损坏ImageNet基准测试中，LSKA与LKA、ViTs及ConvNeXt相比，其鲁棒性如何？
• RQ4 与LKA相比，增加卷积核尺寸对LSKA中有效感受野与特征表示的影响是什么？
• RQ5 可分离卷积核设计是否能在分类、检测与分割等视觉任务中带来更好的泛化能力与效率？

主要发现

• 在65×65卷积核下，LSKA相比LKA将FLOPs减少高达50%，ImageNet上的top-1准确率仅下降0.3%。
• LSKA在图像分类、目标检测与语义分割任务中均保持与LKA相当的性能，同时显著降低内存与计算开销。
• LSKA设计增强了模型对形状表示的偏好，尤其在大卷积核下，这通过形状-纹理维度估计得到验证。
• LSKA在所有五个损坏ImageNet基准测试中均优于ViTs与ConvNeXt，展现出更优的鲁棒性。
• LSKA的有效感受野在35、53与65的卷积核尺寸下趋于饱和，与LKA相似，表明其具备稳定的长距离建模能力。
• LSKA在使用65×65卷积核时，仅用4.07M参数与0.85 GFLOPs即可达到74.8%的top-1准确率，而相同配置下的LKA则需4.73M参数与1.12 GFLOPs。