[论文解读] Bidirectional Graph Reasoning Network for Panoptic Segmentation

Yangxin Wu, Gengwei Zhang+5 more|arXiv (Cornell University)|Apr 14, 2020

Advanced Neural Network Applications参考文献 36被引用 8

一句话总结

该论文提出双向图推理网络（BGRNet），一种用于全景分割的新框架，通过图卷积网络建模前景物体（things）与背景区域（stuff）之间的双向、可学习信息流。通过在实例分支和语义分支中构建图像特定的图结构，并引入双向图连接模块，BGRNet捕捉语义关系与共现关系，在COCO和ADE20K基准上分别取得50.8 PQ和43.1 PQ的最先进性能。

ABSTRACT

Recent researches on panoptic segmentation resort to a single end-to-end network to combine the tasks of instance segmentation and semantic segmentation. However, prior models only unified the two related tasks at the architectural level via a multi-branch scheme or revealed the underlying correlation between them by unidirectional feature fusion, which disregards the explicit semantic and co-occurrence relations among objects and background. Inspired by the fact that context information is critical to recognize and localize the objects, and inclusive object details are significant to parse the background scene, we thus investigate on explicitly modeling the correlations between object and background to achieve a holistic understanding of an image in the panoptic segmentation task. We introduce a Bidirectional Graph Reasoning Network (BGRNet), which incorporates graph structure into the conventional panoptic segmentation network to mine the intra-modular and intermodular relations within and between foreground things and background stuff classes. In particular, BGRNet first constructs image-specific graphs in both instance and semantic segmentation branches that enable flexible reasoning at the proposal level and class level, respectively. To establish the correlations between separate branches and fully leverage the complementary relations between things and stuff, we propose a Bidirectional Graph Connection Module to diffuse information across branches in a learnable fashion. Experimental results demonstrate the superiority of our BGRNet that achieves the new state-of-the-art performance on challenging COCO and ADE20K panoptic segmentation benchmarks.

研究动机与目标

• 解决先前全景分割模型未能显式建模前景物体（things）与背景区域（stuff）之间语义关系与共现关系的局限性。
• 通过在实例分割与语义分割分支之间实现相互特征增强，提升整体场景理解能力。
• 开发一种灵活的、端到端可训练的模块，将图推理整合到现有全景分割架构中。
• 通过利用通过学习图结构实现的双向信息流，在大规模基准上实现最先进性能。

提出的方法

• 在实例分割分支的区域特征上构建物体图（Thing-Graph），利用多头注意力机制建模提案内与提案间的关系。
• 通过从语义分割分支的局部特征中提取类别中心，生成背景图（Stuff-Graph），以表示背景类别。
• 引入双向图连接模块，利用基于注意力的邻接矩阵，在物体图与背景图之间实现可学习的双向特征传播。
• 将扩散后的图节点特征投影回原始特征空间，以优化两个分支中的视觉表征。
• 使用多头注意力机制计算动态邻接矩阵，以捕捉超越固定语言或语义相似度的复杂、场景特定关系。
• 通过将模块堆叠在各种主干网络的现有双分支全景分割网络之上，实现端到端训练。

实验结果

研究问题

• RQ1 显式建模物体与背景之间的双向关系是否能提升全景分割性能？
• RQ2 基于可学习图的特征传播与单向或固定知识图连接相比，在捕捉场景级上下文方面表现如何？
• RQ3 基于注意力的图构建方式与基于语义相似度或固定知识图相比，对性能的影响是什么？
• RQ4 双向信息流是否能带来比单向增强更优的特征优化效果，同时提升实例分支与语义分支的性能？
• RQ5 基于类别中心的背景图在表示模糊或重叠的背景区域方面是否有效？

主要发现

• BGRNet在COCO全景分割基准上达到50.8 PQ的新最先进性能。
• 在ADE20K数据集上，BGRNet实现43.1 PQ，创下新的SOTA结果。
• 所提出的双向图连接模块相比单向增强提升0.3 PQ，证明了双向信息流的优势。
• 基于注意力的图连接机制实现31.8% PQ，优于基于语义相似度连接的31.5% PQ。
• 消融实验表明，基于注意力的物体图构建与基于类别中心的背景图构建在性能与计算成本之间达到最佳平衡。
• 可视化结果表明，类别中心能有效引导局部特征优化，即使在类别模糊与边界模糊的场景中亦然。