[论文解读] Graph-Based Global Reasoning Networks

Yunpeng Chen, Marcus Rohrbach+4 more|arXiv (Cornell University)|Nov 30, 2018

Human Pose and Action Recognition参考文献 32被引用 16

一句话总结

本文提出全局推理单元（GloRe），一种轻量级、可微分的模块，通过将特征投影到交互空间，利用图卷积实现高效的全局关系推理，从而增强CNN。该方法在图像分类、语义分割和视频动作识别任务中，对2D与3D网络的SOTA模型均有持续提升，且计算成本增加不显著。

ABSTRACT

Globally modeling and reasoning over relations between regions can be beneficial for many computer vision tasks on both images and videos. Convolutional Neural Networks (CNNs) excel at modeling local relations by convolution operations, but they are typically inefficient at capturing global relations between distant regions and require stacking multiple convolution layers. In this work, we propose a new approach for reasoning globally in which a set of features are globally aggregated over the coordinate space and then projected to an interaction space where relational reasoning can be efficiently computed. After reasoning, relation-aware features are distributed back to the original coordinate space for down-stream tasks. We further present a highly efficient instantiation of the proposed approach and introduce the Global Reasoning unit (GloRe unit) that implements the coordinate-interaction space mapping by weighted global pooling and weighted broadcasting, and the relation reasoning via graph convolution on a small graph in interaction space. The proposed GloRe unit is lightweight, end-to-end trainable and can be easily plugged into existing CNNs for a wide range of tasks. Extensive experiments show our GloRe unit can consistently boost the performance of state-of-the-art backbone architectures, including ResNet, ResNeXt, SE-Net and DPN, for both 2D and 3D CNNs, on image classification, semantic segmentation and video action recognition task.

研究动机与目标

• 解决CNN在捕捉特征图中远距离或不规则形状区域之间长程全局关系方面的局限性。
• 实现高效、端到端可训练的全局推理，早期在网络中运行，避免依赖深层卷积层堆叠。
• 设计一种轻量级模块，可轻松集成到现有CNN架构中，无需大规模结构修改。
• 在图像分类、语义分割和视频动作识别等多样化视觉任务中提升性能，涵盖2D与3D网络。

提出的方法

• 通过加权全局池化，将空间区域的特征全局聚合，形成交互空间中的一组节点嵌入。
• 在交互空间中构建全连接图，其中每个节点代表一个捕捉全局或局部模式的池化特征描述符。
• 在交互图上使用图卷积网络（GCNs）执行关系推理，以建模节点特征之间的关系。
• 通过加权广播将更新后的、具备关系感知能力的特征投影回原始坐标空间，用于下游任务。
• 整个过程可微分且端到端可训练，支持特征聚合、交互和重建的联合优化。
• GloRe单元设计为即插即用，兼容多种主干网络，如ResNet、ResNeXt、SE-Net和DPN。

实验结果

研究问题

• RQ1 是否能在专用交互空间中高效执行远距离或不规则形状区域之间的全局关系推理？
• RQ2 如何使全局推理轻量化并兼容现有CNN架构？
• RQ3 与标准CNN或现有全局建模方法相比，引入可学习的交互空间并结合图卷积是否能提升视觉任务性能？
• RQ4 所提方法是否能在多样化任务中泛化，包括图像分类、语义分割和视频动作识别？

主要发现

• 在ImageNet-1K图像分类任务中，GloRe使ResNet-50的top-1准确率提升0.90%，达到75.12%；在Kinetics-400视频动作识别任务中，准确率达到75.12%。
• 在Kinetics-400上，使用ResNet-101(3D)的GloRe达到76.09%的视频级别top-1准确率，优于先前SOTA方法NL-Net的0.40%。
• 该方法在多种主干网络（包括ResNet、ResNeXt、SE-Net和DPN）上，对2D与3D网络均持续提升性能。
• 可视化结果表明，学习到的投影权重聚焦于多样且语义有意义的模式——如边缘、眼睛或胡须——展示了模型捕捉判别性全局结构的能力。
• GloRe单元仅引入少量FLOP开销（ResNet-50(3D)为28.9G FLOPs），同时实现显著的准确率增益，证明了其高效性与可扩展性。