[论文解读] Attention-guided Unified Network for Panoptic Segmentation

Yanwei Li, Xinze Chen+5 more|arXiv (Cornell University)|Dec 10, 2018

Visual Attention and Saliency Detection参考文献 46被引用 24

一句话总结

本文提出AUNet，一种统一的注意力引导网络，用于全景分割，通过联合优化实例级（前景）和语义级（背景）分割。通过利用区域提议和实例掩码作为跨分支注意力信号，AUNet提升了前景和背景分割的准确性，在MS-COCO上达到46.5% PQ，在Cityscapes上达到59.0% PQ，实现了最先进性能。

ABSTRACT

This paper studies panoptic segmentation, a recently proposed task which segments foreground (FG) objects at the instance level as well as background (BG) contents at the semantic level. Existing methods mostly dealt with these two problems separately, but in this paper, we reveal the underlying relationship between them, in particular, FG objects provide complementary cues to assist BG understanding. Our approach, named the Attention-guided Unified Network (AUNet), is a unified framework with two branches for FG and BG segmentation simultaneously. Two sources of attentions are added to the BG branch, namely, RPN and FG segmentation mask to provide object-level and pixel-level attentions, respectively. Our approach is generalized to different backbones with consistent accuracy gain in both FG and BG segmentation, and also sets new state-of-the-arts both in the MS-COCO (46.5% PQ) and Cityscapes (59.0% PQ) benchmarks.

研究动机与目标

• 将实例级（前景）和语义级（背景）分割统一为一个端到端框架。
• 利用前景对象与背景内容之间的互补上下文线索，提升分割性能。
• 开发注意力机制，通过前景预测引导背景分割。
• 在不依赖额外数据或模型集成的情况下，实现在标准基准上的最先进性能。

提出的方法

• AUNet采用共享主干网络，通过两条并行分支分别处理实例分割和语义分割。
• 提议注意力模块（PAM）利用区域提议，为背景分支提供对象级注意力。
• 掩码注意力模块（MAM）利用预测的实例掩码，为边界精细化提供像素级注意力。
• 提出一种新型RoIUpsample层，实现固定尺寸实例掩码与特征图之间的精确特征映射。
• 注意力模块以从前景分支到背景分支的跳跃连接形式实现，支持双向梯度传播。
• 模型通过端到端联合优化进行训练，使两个分支能够相互监督，共同受益。

实验结果

研究问题

• RQ1 通过利用跨分支注意力，统一的网络架构是否能够同时提升前景和背景分割的性能？
• RQ2 对象级和像素级注意力机制在全景分割中如何增强对背景的理解？
• RQ3 通过特征交互，前景实例分割的准确性在多大程度上能提升背景语义分割的性能？
• RQ4 统一框架是否在全景基准上优于分别训练实例和语义分割头的方法？

主要发现

• AUNet在MS-COCO测试开发集上达到46.5% PQ，未使用额外数据或模型集成，创下新最先进水平。
• 在Cityscapes上，AUNet达到59.0% PQ，相比之前最先进方法高出5.2个百分点的绝对提升。
• 该方法在不同主干网络（包括ResNet-50-FPN和ResNet-101-FPN）上均表现出一致的精度提升。
• 消融研究证实，PAM和MAM对性能均有显著贡献，尤其在提升背景分割方面效果明显。
• 尽管未使用额外数据或复杂增强手段，AUNet在PQ_St指标上仍比COCO 2018全景分割挑战赛冠军高出4.9个百分点。
• AUNet在事物（things）和东西（stuff）分割之间实现了更好的平衡，PQ_Th和PQ_St均得到提升，表明联合优化策略有效。