[论文解读] GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond

Yue Cao, Jiarui Xu+3 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Neural Network Applications参考文献 42被引用 213

一句话总结

GCNet 引入一个轻量级全局上下文块，将简化的非本地和 SE 块统一为三步框架，在长程依赖建模方面表现更好，并在目标检测/分割、图像分类和动作识别中实现更高的性能，FLOP 开销极小。

ABSTRACT

The Non-Local Network (NLNet) presents a pioneering approach for capturing long-range dependencies, via aggregating query-specific global context to each query position. However, through a rigorous empirical analysis, we have found that the global contexts modeled by non-local network are almost the same for different query positions within an image. In this paper, we take advantage of this finding to create a simplified network based on a query-independent formulation, which maintains the accuracy of NLNet but with significantly less computation. We further observe that this simplified design shares similar structure with Squeeze-Excitation Network (SENet). Hence we unify them into a three-step general framework for global context modeling. Within the general framework, we design a better instantiation, called the global context (GC) block, which is lightweight and can effectively model the global context. The lightweight property allows us to apply it for multiple layers in a backbone network to construct a global context network (GCNet), which generally outperforms both simplified NLNet and SENet on major benchmarks for various recognition tasks. The code and configurations are released at https://github.com/xvjiarui/GCNet.

研究动机与目标

• 在 CNN 中激发并理解长程依赖建模及其计算成本。
• 将简化的非本地与 SE 方法统一为通用的全局上下文建模框架。
• 设计一个轻量级的 GC 块，能够高效捕捉全局上下文并可集成至骨干网络中。
• 通过消融和骨干网络实验在 COCO 目标检测/分割、ImageNet 分类和 Kinetics 动作识别上经验性验证 GCNet。

提出的方法

• 观察 NLNet 的查询特定注意力图在不同查询位置几乎相同，推动引入查询无关的全局上下文方法。
• 通过对所有查询位置使用共享全局注意力图并应用瓶颈变换来减少参数量（GC 设计），简化 NL 块。
• 将该方法抽象为三步全局上下文建模框架：(a) 通过注意力汇聚进行全局上下文建模；(b) 特征变换（瓶颈）；(c) 通过对所有位置的相加进行融合。
• 提出 GC 块作为该框架的具体实现，结合高效的全局注意力汇聚、瓶颈变换与加法式融合。
• 演示 GCBlock 如何以最小的 FLOPs 增长插入到 ResNet/ResNeXt 骨干网络的多层中（GCNet 骨干）。
• 与 NLNet 与 SENet 在标准视觉任务上的对比，以确立效率-准确性权衡。

实验结果

研究问题

• RQ1 查询无关的全局上下文是否能在显著降低计算量的同时提供与查询特定 NL 注意力类似的有效性？
• RQ2 在不同骨干和任务中，GC 块在精度提升与参数量/FLOP 成本方面与 NL 和 SE 块相比如何？
• RQ3 哪些体系结构选择（上下文建模、变换、融合）在保持低计算量的同时最大化性能？
• RQ4 在骨干的多个阶段（如 ResNet 的 c3、c4、c5）以及不同数据集/任务（COCO、ImageNet、Kinetics）中应用 GCNet 是否具备优势？

主要发现

• GCNet 在主要基准测试上持续领先于 NLNet 和 SENet，且 FLOPs 相近或略高（例如对框、掩模的 COCO AP 提升大约 1.5–1.9 点）。
• GCNet 在 COCO 目标检测/分割上实现约 0.07% 的相对 FLOP 增量，同时获得显著的精度提升（AP^bbox 与 AP^mask）。
• GCNet 在 ImageNet 分类（约 0.8% 顶级准确度提升）和 Kinetics 动作识别（约 1.1% 顶级准确度提升）上实现了在最小计算开销下的性能提升。
• 将 GC 块插入到多层（c3+c4+c5）时，参数与计算增量适中（以 ResNet-50 为例，额外参数约 2.5M，FLOP 增加约 0.26%）。
• 消融研究显示，加法融合和带层归一化的瓶颈变换提供了较强的性能，而全局注意力汇聚虽然有效但不如融合选择关键。