[论文解读] Dynamic Mobile-Former: Strengthening Dynamic Convolution with Attention and Residual Connection in Kernel Space

Seokju Yun, Youngmin Ro|arXiv (Cornell University)|Apr 13, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出动态移动变换器（DMF），一种轻量级视觉模型，通过在核空间中利用残差连接整合输入无关与输入相关核，以增强动态卷积，同时使用轻量级注意力机制引导核选择。DMF 在 ImageNet-1K 上实现 79.4% 的 top-1 准确率，仅需 PVT-Tiny 四分之一的 FLOPs，且在目标检测与分割任务中效率与准确率均超越当前最先进模型。

ABSTRACT

We introduce Dynamic Mobile-Former(DMF), maximizes the capabilities of dynamic convolution by harmonizing it with efficient operators.Our Dynamic MobileFormer effectively utilizes the advantages of Dynamic MobileNet (MobileNet equipped with dynamic convolution) using global information from light-weight attention.A Transformer in Dynamic Mobile-Former only requires a few randomly initialized tokens to calculate global features, making it computationally efficient.And a bridge between Dynamic MobileNet and Transformer allows for bidirectional integration of local and global features.We also simplify the optimization process of vanilla dynamic convolution by splitting the convolution kernel into an input-agnostic kernel and an input-dependent kernel.This allows for optimization in a wider kernel space, resulting in enhanced capacity.By integrating lightweight attention and enhanced dynamic convolution, our Dynamic Mobile-Former achieves not only high efficiency, but also strong performance.We benchmark the Dynamic Mobile-Former on a series of vision tasks, and showcase that it achieves impressive performance on image classification, COCO detection, and instanace segmentation.For example, our DMF hits the top-1 accuracy of 79.4% on ImageNet-1K, much higher than PVT-Tiny by 4.3% with only 1/4 FLOPs.Additionally,our proposed DMF-S model performed well on challenging vision datasets such as COCO, achieving a 39.0% mAP,which is 1% higher than that of the Mobile-Former 508M model, despite using 3 GFLOPs less computations.Code and models are available at https://github.com/ysj9909/DMF

研究动机与目标

• 通过重新思考核空间学习，解决动态卷积中的优化不稳定与表征能力有限问题。
• 在严格的 FLOP 与延迟约束下，提升轻量级视觉模型的效率与性能。
• 通过解耦输入无关与输入相关核，实现动态卷积的有效扩展。
• 将轻量级注意力提取的全局上下文信息融入核注意力模块，以实现更优的滤波器选择。
• 在移动端与实时视觉应用中实现理想的准确率-FLOPs 权衡。

提出的方法

• 将卷积核分解为输入无关分量与输入相关分量，以解耦优化过程并扩展核空间。
• 在核空间中引入残差连接，将输入相关核与输入无关核连接，以稳定训练并提升优化性能。
• 使用 Sigmoid 激活函数处理注意力分数，以提升核空间容量，通过残差学习抵消优化难度。
• 采用轻量级全局注意力机制提取显著的全局特征，并将其作为核注意力模块的输入，以实现更优的滤波器选择。
• 结合动态残差卷积与分组卷积、深度可分离卷积，以保持计算效率。
• 采用温度退火与仔细的初始化策略（如静态核的零初始化）以稳定训练并提升收敛性。

Figure 3 : A Dynamic Residual Convolution layer. Firstly, the global average pooled features of the input and the first global token are concatenated. These concatenated features are then passed through a kernel attention module to generate attention scores ( $\pi$ ) and obtain dynamic convolution w

实验结果

研究问题

• RQ1 通过核空间分解与残差学习，能否使动态卷积更加稳定且可扩展？
• RQ2 利用轻量级注意力提取的全局上下文信息，能否提升动态卷积的性能？
• RQ3 能否在不损害训练稳定性的情况下有效利用更大的核空间？
• RQ4 激活函数（Sigmoid 与 Softmax）对动态卷积的性能与优化有何影响？
• RQ5 所提出的动态残差卷积与标准动态卷积相比，在 FLOPs、参数量与准确率方面表现如何？

主要发现

• DMF-S 在 ImageNet-1K 上实现 79.4% 的 top-1 准确率，较 PVT-Tiny 高出 4.3%，且仅使用其四分之一的 FLOPs。
• DMF-S 在 COCO 实例分割任务中实现 39.0% 的 mAP，优于 Mobile-Former 508M 模型 1%，且计算量减少 3 GFLOPs。
• 采用 8 个静态核与基于 Sigmoid 的注意力分数的模型实现 73.6% 的 top-1 准确率，优于核数更少或使用 Softmax 激活的模型。
• 静态核的零初始化优于随机初始化，证实了核空间中残差学习的优势。
• 消融实验证实，Sigmoid 激活函数与残差连接显著提升了模型容量与训练稳定性。
• DMF 展现出优异的准确率-FLOPs 权衡，在实时与移动端视觉场景中优于轻量级 CNN 与视觉 Transformer 变体。