[论文解读] $A^2$-Nets: Double Attention Networks

Yunpeng Chen, Yannis Kalantidis+3 more|arXiv (Cornell University)|Oct 27, 2018

Human Pose and Action Recognition参考文献 15被引用 14

一句话总结

本文提出 $A^2$-Nets，一种双注意力模块，通过两阶段注意力机制增强CNN模型，以捕捉长程空间与时间依赖关系：首先通过二阶统计方法对全局特征进行池化，然后自适应地将这些特征分配至每个位置。该方法在 ImageNet-1k、Kinetics 和 UCF-101 上均达到最先进性能，且参数量和 FLOPs 显著少于更深的模型（如 ResNet-152）。

ABSTRACT

Learning to capture long-range relations is fundamental to image/video recognition. Existing CNN models generally rely on increasing depth to model such relations which is highly inefficient. In this work, we propose the "double attention block", a novel component that aggregates and propagates informative global features from the entire spatio-temporal space of input images/videos, enabling subsequent convolution layers to access features from the entire space efficiently. The component is designed with a double attention mechanism in two steps, where the first step gathers features from the entire space into a compact set through second-order attention pooling and the second step adaptively selects and distributes features to each location via another attention. The proposed double attention block is easy to adopt and can be plugged into existing deep neural networks conveniently. We conduct extensive ablation studies and experiments on both image and video recognition tasks for evaluating its performance. On the image recognition task, a ResNet-50 equipped with our double attention blocks outperforms a much larger ResNet-152 architecture on ImageNet-1k dataset with over 40% less the number of parameters and less FLOPs. On the action recognition task, our proposed model achieves the state-of-the-art results on the Kinetics and UCF-101 datasets with significantly higher efficiency than recent works.

研究动机与目标

• 解决标准CNN因感受野局部化而导致建模长程依赖效率低下的问题。
• 设计一种轻量化、可插拔的模块，使卷积层在不增加深度或计算成本的前提下获取全局上下文信息。
• 在减少模型大小和FLOPs的同时，提升图像与视频识别任务的性能，相较更深的网络架构更具优势。
• 通过两阶段注意力机制实现高效的全局特征聚合与自适应分配。

提出的方法

• 双注意力模块采用两步注意力机制：首先，二阶注意力池化将整个空间或时空特征图中的关键特征聚合为紧凑表示。
• 其次，第二重注意力机制根据相关性自适应地选择并分配池化后的特征至每个空间或时间位置。
• 第一重注意力操作隐式计算特征的二阶统计量，捕捉超越全局平均池化的复杂外观与运动相关性。
• 第二重注意力机制执行自适应特征分配，以极低的计算开销实现对每个位置特征的选择性增强。
• 该模块被设计为可即插即用的组件，兼容现有CNN架构（如ResNet），可无缝插入任意阶段而无需重构网络结构。
• 该方法通过在紧凑的池化特征集上操作，而非所有特征位置，避免了非局部网络的二次方复杂度。

实验结果

研究问题

• RQ1 一种轻量化、可学习的注意力机制是否能在不增加模型深度的前提下，有效建模CNN中的长程依赖？
• RQ2 相较于全局平均池化，二阶特征池化在捕捉复杂空间与运动相关性方面表现如何？
• RQ3 两阶段注意力机制是否能在准确率与效率两方面超越SENet与非局部网络等现有注意力模块？
• RQ4 双注意力模块在减少FLOPs与参数量的前提下，能在图像与视频识别基准上实现多大程度的性能提升？

主要发现

• 在 ImageNet-1k 上，使用 $A^2$-blocks 的 ResNet-50 达到 77.0% 的 top-1 准确率，优于参数量更多的 ResNet-152（77.0%），且参数量减少40%，FLOPs 低于一半。
• 在 Kinetics 上，$A^2$-Net 仅使用8帧输入即达到 74.6% 的 top-1 准确率，仅需 40.8 GFLOPs，优于 I3D（71.1%）与 R(2+1)D（72.0%），尽管其FLOPs更低、帧数更少。
• 在 UCF-101 上，$A^2$-Net 达到 96.4% 的 top-1 准确率，仅需 41.6 GFLOPs，优于 I3D-RGB（95.6%）与 R(2+1)D-RGB（96.8%），在更小的主干网络与更低计算量下实现更高准确率。
• 消融实验表明，双注意力机制显著优于基线的 ResNet-50 与 SENet，验证了二阶池化与自适应分配的有效性。
• 该模型展现出强大的迁移能力，在使用 Kinetics 预训练的特征下于 UCF-101 上达到最先进结果，表明其学习到的特征具有强鲁棒性与泛化能力。