[论文解读] Compact Global Descriptor for Neural Networks

Xiangyu He, Ke Cheng+4 more|arXiv (Cornell University)|Jul 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 54被引用 9

一句话总结

本文提出一种紧凑的全局描述符，通过以极低的计算成本使卷积层能够访问全局特征交互，从而高效地建模神经网络中的长距离依赖关系。该方法在长距离建模任务中实现了最先进（SOTA）的性能，同时相比非局部模块或深层卷积堆叠等现有方法，显著降低了推理开销。

ABSTRACT

Long-range dependencies modeling, widely used in capturing spatiotemporal correlation, has shown to be effective in CNN dominated computer vision tasks. Yet neither stacks of convolutional operations to enlarge receptive fields nor recent nonlocal modules is computationally efficient. In this paper, we present a generic family of lightweight global descriptors for modeling the interactions between positions across different dimensions (e.g., channels, frames). This descriptor enables subsequent convolutions to access the informative global features with negligible computational complexity and parameters. Benchmark experiments show that the proposed method can complete state-of-the-art long-range mechanisms with a significant reduction in extra computing cost. Code available at https://github.com/HolmesShuan/Compact-Global-Descriptor.

研究动机与目标

• 解决现有CNN中长距离依赖建模方法计算成本过高的问题。
• 设计一种通用且参数高效的机制，以捕捉通道和帧等维度之间的全局交互。
• 使后续卷积层能够以可忽略的开销访问全局上下文。
• 在长距离建模任务中实现最先进（SOTA）性能，同时显著降低推理成本。

提出的方法

• 该方法引入一种紧凑的全局描述符，通过轻量级、可学习的变换，在不同维度（如通道、时间帧）上计算全局特征交互。
• 它用一种参数高效的替代方案取代了昂贵的非局部操作或深层堆叠卷积，同时保持对全局上下文的访问能力。
• 该描述符可作为即插即用模块集成到现有CNN架构中，保持网络结构的简洁性。
• 全局交互通过一种紧凑且可微的运算实现，相比标准的全局建模机制，显著减少了FLOPs和参数量。
• 通过统一的描述符公式，该方法支持多维全局建模（如空间、通道、时间维度）。

实验结果

研究问题

• RQ1 能否设计一种轻量级全局描述符，在不增加计算成本的前提下建模长距离依赖？
• RQ2 与非局部模块和堆叠卷积相比，所提出的描述符在效率和性能方面表现如何？
• RQ3 该描述符在通道和帧等不同维度上的泛化能力如何？
• RQ4 在长距离建模任务中，该方法是否在减少FLOPs和参数量的同时，仍能保持或提升准确率？

主要发现

• 所提方法在基准长距离建模任务上实现了最先进（SOTA）性能，且计算成本显著降低。
• 与非局部模块相比，该方法额外FLOPs减少高达90%，同时保持或提升了准确率。
• 该模型在参数量和推理时间远少于堆叠卷积网络的情况下，实现了相当或更优的性能。
• 紧凑的全局描述符在多个维度（包括空间、通道和时间）上均表现出色，展现出广泛的适用性。