[论文解读] Attentional Feature Fusion

Yimian Dai, Fabian Gieseke+3 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Neural Network Applications参考文献 56被引用 6

一句话总结

本文提出注意力特征融合（AFF），一种统一的、基于注意力的框架，用于在多种网络架构（如Inception、ResNet和FPN）之间实现动态特征融合，通过学习尺度感知的多级注意力权重。该方法在参数更少的情况下提升了性能，尤其通过迭代优化初始特征融合的迭代注意力特征融合（iAFF）实现，在CIFAR-100和ImageNet上达到最先进（SOTA）的准确率，同时显著减小了模型规模。

ABSTRACT

Feature fusion, the combination of features from different layers or branches, is an omnipresent part of modern network architectures. It is often implemented via simple operations, such as summation or concatenation, but this might not be the best choice. In this work, we propose a uniform and general scheme, namely attentional feature fusion, which is applicable for most common scenarios, including feature fusion induced by short and long skip connections as well as within Inception layers. To better fuse features of inconsistent semantics and scales, we propose a multi-scale channel attention module, which addresses issues that arise when fusing features given at different scales. We also demonstrate that the initial integration of feature maps can become a bottleneck and that this issue can be alleviated by adding another level of attention, which we refer to as iterative attentional feature fusion. With fewer layers or parameters, our models outperform state-of-the-art networks on both CIFAR-100 and ImageNet datasets, which suggests that more sophisticated attention mechanisms for feature fusion hold great potential to consistently yield better results compared to their direct counterparts. Our codes and trained models are available online.

研究动机与目标

• 为解决现代CNN中固定、线性特征融合（如加法或拼接）的局限性，这些方法忽略了特征之间的语义和尺度不一致性。
• 将同层、短跳跃连接和长跳跃连接等不同特征融合场景统一到一个一致的、基于注意力的框架下。
• 识别并解决在注意力加权之前对特征进行简单初始融合所导致的瓶颈问题。
• 通过引入多尺度通道注意力，改善上下文聚合，减少对全局上下文的偏倚，增强小目标的特征表示。
• 证明更复杂的特征融合机制可在参数更少的情况下超越更深或更宽的网络。

提出的方法

• 提出一个多尺度通道注意力模块，结合全局和局部通道上下文，生成更鲁棒的注意力权重以用于特征融合。
• 引入注意力特征融合（AFF）模块，作为Inception、ResNet和FPN架构中标准融合操作（如加法或拼接）的即插即用替代方案。
• 设计一种迭代注意力特征融合（iAFF）机制，通过引入另一层注意力来优化初始特征融合，从而提升融合质量。
• 采用可学习的门控机制，根据输入特征的语义和尺度一致性动态分配权重，实现自适应融合。
• 采用双分支注意力头：一个用于全局统计，一个用于局部上下文，二者融合生成尺度感知的注意力图。
• 以模块化方式应用AFF和iAFF模块，使现有网络无需进行架构重构即可集成。

实验结果

研究问题

• RQ1 统一的基于注意力的框架能否有效处理包括Inception、ResNet和FPN在内的多种CNN架构中的特征融合？
• RQ2 在注意力机制中引入多尺度上下文是否能提升特征融合质量，特别是对不同尺寸物体的特征表示？
• RQ3 特征的初始融合是否是基于注意力融合中的关键瓶颈？能否通过迭代注意力机制缓解该问题？
• RQ4 更复杂的融合机制是否能在显著减少参数量的情况下超越更深或更宽的网络？
• RQ5 基于注意力的融合是否能在不同数据集和网络深度下带来一致的性能提升？

主要发现

• 所提出的iAFF-ResNet-50在ImageNet上达到20.4%的top-1错误率，优于Gather-Excite-θ⁺-ResNet-101（20.7%），且参数量仅为后者的60%。
• iAFF-ResNeXt-50-32x4d在ImageNet上达到20.2%的top-1错误率，超越了当前最先进模型，且参数预算更小。
• 在CIFAR-100上，AFF和iAFF在不同网络深度下均持续优于基线网络及其他注意力模块（如SKNet、SENet）。
• 将简单的加法或拼接替换为AFF或iAFF，可显著减少实现相当性能所需的参数量——例如，iAFF-ResNet（b=2）在参数量减少54%的情况下，达到与基线ResNet（b=4）相当的性能。
• 消融实验表明，多尺度上下文聚合以及对初始融合的迭代优化能显著提升融合质量与最终准确率。
• 结果表明，特征融合质量是网络性能的关键因素，且基于注意力的融合可在不同数据集和架构中持续带来性能增益。