[论文解读] LatentGNN: Learning Efficient Non-local Relations for Visual Recognition

Songyang Zhang, Shipeng Yan+1 more|arXiv (Cornell University)|May 28, 2019

Advanced Neural Network Applications参考文献 47被引用 46

一句话总结

LatentGNN 引入潜在空间图神经网络，用以建模非局部特征关系，采用低秩邻接表示，使可扩展、具上下文感知的特征增强用于视觉识别任务。与先前的非局部方法相比，在计算量减少的情况下获得显著性能提升。

ABSTRACT

Capturing long-range dependencies in feature representations is crucial for many visual recognition tasks. Despite recent successes of deep convolutional networks, it remains challenging to model non-local context relations between visual features. A promising strategy is to model the feature context by a fully-connected graph neural network (GNN), which augments traditional convolutional features with an estimated non-local context representation. However, most GNN-based approaches require computing a dense graph affinity matrix and hence have difficulty in scaling up to tackle complex real-world visual problems. In this work, we propose an efficient and yet flexible non-local relation representation based on a novel class of graph neural networks. Our key idea is to introduce a latent space to reduce the complexity of graph, which allows us to use a low-rank representation for the graph affinity matrix and to achieve a linear complexity in computation. Extensive experimental evaluations on three major visual recognition tasks show that our method outperforms the prior works with a large margin while maintaining a low computation cost.

研究动机与目标

• 捕捉视觉特征表示中的长程依赖以提升识别任务。
• 提供与标准 ConvNets 兼容的可扩展、高效的非局部上下文建模机制。
• 通过低秩、核混合的图表示学习任务驱动的非局部关系。
• 在多种视觉任务（目标检测、分割和点云分割）上展示其有效性。

提出的方法

• 通过引入与特征节点相连并相互连接的潜在节点，使用潜在图网络来增强卷积特征。
• 进行三步消息传递：可见到潜在、潜在到潜在、潜在到可见，以估计非局部上下文。
• 通过潜在变量将完整图的亲和度表示为低秩混合核的形式，从而实现线性时间计算。
• 提供矩阵形式的解释，显示潜在 GNN 对应于密集亲和矩阵的低秩近似。
• 允许在深层 ConvNets 中堆叠多个潜在 GNN 层，并通过残差式增强与原始特征融合。
• 扩展到用于二维视觉任务的网格状特征图和用于三维点云的不规则图；在端到端训练的特定任务损失下进行验证。

实验结果

研究问题

• RQ1 潜在变量 GNN 是否能够实现对视觉特征中非局部关系的高效且灵活的建模？
• RQ2 在视觉任务中，低秩、核混合表示是否相比完全连接的 GNN 提高了可扩展性和性能？
• RQ3 LatentGNN 能否集成到标准检测器/分割器和点云网络中，以在适度的计算开销下提升准确性？
• RQ4 LatentGNN 在二维图像基础的分割任务和三维点云分割任务上的表现如何？
• RQ5 增加多个潜在层或多个低秩核对性能和成本的影响是什么？

主要发现

• LatentGNN 在基线之上一致提升对象检测和实例分割性能，同时保持计算成本较低。
• 一个包含少量潜在节点的潜在空间使得线性时间消息传递成为可能，相比基于密集亲和度的 GNN 获得显著的加速。
• 多核的低秩混合核的组合进一步提升了表达能力和性能，相较于单一核。
• 在不同的 backbone 阶段引入 LatentGNN 可获得显著提升，多阶段部署带来更大改进。
• LatentGNN 同样对不规则图数据有益，在三维点云语义分割任务中取得改进。
• 该框架具有模块化、端到端可训练性，且支持在标准 CNN 主干中堆叠多个 LatentGNN 层。