[论文解读] Dynamic Region-Aware Convolution

Jin Chen, Xijun Wang+3 more|arXiv (Cornell University)|Mar 27, 2020

Advanced Image and Video Retrieval Techniques参考文献 37被引用 9

一句话总结

本文提出动态区域感知卷积（DRConv），一种新颖的卷积操作，通过可学习的引导掩码动态地将空间共享的滤波器分配给语义区域，从而在保持平移不变性和计算效率的同时提升特征表示能力。DRConv在ImageNet上实现了SOTA性能，Top-1准确率达到67.1%，FLOPs为46M，相较于标准卷积相对提升6.3%。

ABSTRACT

We propose a new convolution called Dynamic Region-Aware Convolution (DRConv), which can automatically assign multiple filters to corresponding spatial regions where features have similar representation. In this way, DRConv outperforms standard convolution in modeling semantic variations. Standard convolutional layer can increase the number of filers to extract more visual elements but results in high computational cost. More gracefully, our DRConv transfers the increasing channel-wise filters to spatial dimension with learnable instructor, which not only improve representation ability of convolution, but also maintains computational cost and the translation-invariance as standard convolution dose. DRConv is an effective and elegant method for handling complex and variable spatial information distribution. It can substitute standard convolution in any existing networks for its plug-and-play property, especially to power convolution layers in efficient networks. We evaluate DRConv on a wide range of models (MobileNet series, ShuffleNetV2, etc.) and tasks (Classification, Face Recognition, Detection and Segmentation). On ImageNet classification, DRConv-based ShuffleNetV2-0.5x achieves state-of-the-art performance of 67.1% at 46M multiply-adds level with 6.3% relative improvement.

研究动机与目标

• 为解决标准卷积在不增加计算成本的前提下建模空间语义变化的局限性。
• 克服局部卷积方法中为每个空间位置分配独立滤波器所导致的参数爆炸和平移不变性丧失问题。
• 通过可学习的引导掩码实现在空间区域上的样本特定、动态滤波器分配，以提升表示能力。
• 设计一种即插即用模块，可在不改变网络架构的前提下增强现有网络。
• 在显著提升多种视觉任务性能的同时，保持计算效率。

提出的方法

• DRConv使用标准卷积从输入生成引导特征图，该特征图随后用于预测一个可学习的引导掩码，将空间维度划分为m个区域。
• 引导掩码决定区域共享模式，其中每个区域共享一个单一滤波器，且通过滤波器生成模块动态生成每个区域的滤波器。
• 每个区域在其空间区域内应用一个唯一且样本特定的滤波器，从而实现在保持平移不变性的同时进行局部化特征建模。
• 滤波器生成模块为轻量化可学习模块，其参数与空间尺寸无关，从而最小化参数增长。
• 反向传播经过专门设计，基于任务损失优化引导掩码，支持端到端训练。
• 该方法即插即用，可替换任何网络中的标准卷积，包括MobileNet和ShuffleNetV2等高效架构。

实验结果

研究问题

• RQ1 动态的、区域感知的滤波器分配是否能在不增加计算成本的前提下提升卷积神经网络的特征表示能力？
• RQ2 可学习的引导掩码如何影响滤波器的空间分布及其在不同任务中的性能表现？
• RQ3 与标准卷积相比，DRConv在小型和高效模型上的性能提升程度如何？
• RQ4 DRConv是否在实现空间自适应滤波的同时保持了平移不变性，而不同于局部卷积方法？
• RQ5 在性能与效率之间权衡时，引导掩码的最优区域数量是多少？

主要发现

• 基于DRConv的ShuffleNetV2-0.5×在ImageNet上达到67.1%的Top-1准确率，FLOPs为46M，相较于标准卷积实现6.3%的相对提升。
• 在COCO目标检测任务中，将两个FPN层替换为DRConv（16个区域）使AP提升1.2%；在DetNAS-300M中使用8个区域时，AP提升1.8%。
• 在COCO实例分割任务中，当DRConv用于两个FPN层（16个区域）时，AP提升1.1%。
• 较小的模型如MobileNetV2-0.25×和ShuffleNetV2-0.5×从DRConv中获益最多，其相对性能增益高于更大模型。
• 可视化结果表明，引导掩码学习到了语义上一致的区域，深层网络形成连通区域，浅层网络则呈现离散且上下文敏感的区域。
• 消融实验表明，增加区域数量可提升性能，表明更精细的空间专业化有助于特征学习。