[论文解读] Dynamic Graph Message Passing Networks

Li Zhang, Dan Xu+2 more|arXiv (Cornell University)|Aug 19, 2019

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出动态图消息传递网络（DGMN），一种新颖的方法，通过动态采样相关节点并学习位置特定的滤波权重与亲和矩阵，实现视觉任务中高效的消息传递。在语义分割、目标检测和实例分割任务中，DGMN 以全连接非局部网络 9.4% 的 FLOPs 和 25.3% 的参数量，实现了最先进性能。

ABSTRACT

Modelling long-range dependencies is critical for scene understanding tasks in computer vision. Although CNNs have excelled in many vision tasks, they are still limited in capturing long-range structured relationships as they typically consist of layers of local kernels. A fully-connected graph is beneficial for such modelling, however, its computational overhead is prohibitive. We propose a dynamic graph message passing network, that significantly reduces the computational complexity compared to related works modelling a fully-connected graph. This is achieved by adaptively sampling nodes in the graph, conditioned on the input, for message passing. Based on the sampled nodes, we dynamically predict node-dependent filter weights and the affinity matrix for propagating information between them. Using this model, we show significant improvements with respect to strong, state-of-the-art baselines on three different tasks and backbone architectures. Our approach also outperforms fully-connected graphs while using substantially fewer floating-point operations and parameters. The project website is http://www.robots.ox.ac.uk/~lz/dgmn/

研究动机与目标

• 解决全连接图模型在捕捉场景理解中长距离依赖关系时计算成本过高的问题。
• 克服 CNN 固定感受野与 GraphSAGE 静态采样在建模长距离上下文关系方面的局限性。
• 通过基于输入相关特征动态选择相关节点，实现高效且有效的消息传递。
• 联合优化动态节点采样、自适应滤波权重与亲和矩阵，以提升表征学习性能。
• 将 DGMN 模块以最小修改方式集成至现有主干网络中，实现广泛适用性。

提出的方法

• 基于输入相关的节点特征，使用学习到的位置特定随机游走机制，从特征图中动态采样节点子集。
• 学习基于采样节点的节点相关滤波权重与亲和矩阵，以实现自适应消息传递。
• 将消息传递建模为可微过程，利用学习到的动态滤波器与亲和力聚合信息。
• 将 DGMN 模块作为插件层，集成至 ResNet 与 ResNeXt 主干网络的卷积块之后。
• 采用多头机制预测多组滤波器与亲和力，以支持更丰富的特征建模。
• 使用标准反向传播，结合交叉熵损失以及检测与分割任务的边界框/掩码损失，端到端优化整个模型。

Figure 1: Contextual information is crucial for complex scene understanding tasks. To recognise the “boathouse”, one needs to consider the “boat” and the “water” next to it. Fully-connected message passing models (a) are able to obtain this information, but are prohibitively expensive. Furthermore,

实验结果

研究问题

• RQ1 动态节点采样是否能在保留视觉任务中长距离上下文建模能力的同时降低计算成本？
• RQ2 学习位置特定的滤波权重与亲和力是否能提升消息传递效率与表征质量？
• RQ3 DGMN 是否能在显著减少 FLOPs 与参数量的前提下，超越全连接非局部网络的性能？
• RQ4 当集成至 ResNet-101 与 ResNeXt-101 等强主干网络时，DGMN 在多任务上的有效性如何？
• RQ5 采样率与滤波组数量的变化对 DGMN 性能与效率有何影响？

主要发现

• DGMN 采用动态滤波器与亲和力，在 Cityscapes 上达到 40.2 AP，在 COCO 上达到 44.3 AP，性能超越非局部网络，同时仅使用其 9.4% 的 FLOPs 与 25.3% 的参数量。
• 在 COCO 上，DGMN 将 ResNeXt-101-FPN 与 Mask R-CNN 结合后，AP box 提升 1.7 个百分点，AP mask 提升 1.2 个百分点，较单阶段检测器 CornerNet 在 AP box 上领先 2.1 个百分点。
• 应用于 ResNet-101 时，DGMN 将 AP box 提升 1.6 个百分点，AP mask 提升 1.2 个百分点，展现出对更强主干网络的优异迁移能力。
• 消融实验表明，动态采样与动态权重/亲和力均对性能有显著贡献，完整 DGMN 模型表现最佳。
• Cityscapes 与 COCO 的定性结果表明，DGMN 产生的误检与漏检更少，实例分割掩码更清晰、更准确。
• 在单尺度、单模型推理下，DGMN 在 COCO test-dev 上达到最先进性能，未使用额外数据或训练技巧。

Figure 2: Overview of our proposed dynamic graph message passing network (DGMN). The neighbourhood used to update the feature representation of each node (we show a single node with a red square) is predicted dynamically conditioned on each input. This is done by first uniformly sampling (denoted by