[论文解读] Learning Instance Occlusion for Panoptic Segmentation

Justin Lazarow, Kwonjoon Lee+2 more|arXiv (Cornell University)|Jun 13, 2019

Advanced Neural Network Applications参考文献 55被引用 11

一句话总结

本文提出 OCFusion，一种轻量级遮挡头，通过学习实例掩码之间的二元遮挡关系来提升全景分割融合效果。通过用学习到的遮挡排序替代基于置信度的排序，OCFusion 在 COCO 上实现 SOTA 性能（+3 PQ 点），在 Cityscapes 上取得具有竞争力的结果，且推理时间仅增加 2-5%。

ABSTRACT

Panoptic segmentation requires segments of both "things" (countable object instances) and "stuff" (uncountable and amorphous regions) within a single output. A common approach involves the fusion of instance segmentation (for "things") and semantic segmentation (for "stuff") into a non-overlapping placement of segments, and resolves overlaps. However, instance ordering with detection confidence do not correlate well with natural occlusion relationship. To resolve this issue, we propose a branch that is tasked with modeling how two instance masks should overlap one another as a binary relation. Our method, named OCFusion, is lightweight but particularly effective in the instance fusion process. OCFusion is trained with the ground truth relation derived automatically from the existing dataset annotations. We obtain state-of-the-art results on COCO and show competitive results on the Cityscapes panoptic segmentation benchmark.

研究动机与目标

• 解决全景分割融合中检测置信度与自然遮挡顺序之间相关性差的问题。
• 通过显式建模重叠目标实例之间的遮挡关系，提升实例融合质量。
• 有效处理跨类别与同类别遮挡，尤其在被遮挡的汽车等复杂场景中表现优异。
• 在显著提升标准基准测试分割精度的同时，将计算开销最小化。
• 提供即插即用的解决方案，兼容现有的 Mask R-CNN 和 Panoptic FPN 流水线，便于集成。

提出的方法

• 训练一个轻量级遮挡头，用于预测重叠程度足够高的实例掩码对之间的二元遮挡关系（IoU > ρ）。
• 利用 COCO 和 Cityscapes 注释中自动提取的真实遮挡关系作为监督信号来训练遮挡头。
• 将遮挡头集成到 Mask R-CNN 实例分割流水线中，使其能够在融合过程中预测哪一掩码应位于上方。
• 修改标准的基于置信度的融合启发式策略，使遮挡预测结果优先于检测分数以解决重叠问题。
• 仅对 IoU 超过阈值 ρ 的遮挡掩码对应用遮挡头，从而降低计算成本。
• 实现对跨类别与同类别遮挡处理的独立控制，提升复杂场景下的鲁棒性。

实验结果

研究问题

• RQ1 学习实例之间的显式遮挡关系是否能提升全景分割融合的质量？
• RQ2 用学习到的遮挡排序替代基于置信度的排序，是否能更好地保留最终输出中重叠实例的完整性？
• RQ3 该方法在同类别遮挡场景下的有效性如何？这类场景因外观相似且空间排列复杂而尤为具挑战性。
• RQ4 添加遮挡头的计算开销是多少？是否能在实现显著性能提升的同时保持极低的开销？
• RQ5 遮挡头能否在 COCO 和 Cityscapes 等不同数据集上实现良好泛化，且仅需极少微调？

主要发现

• 在 COCO 上，OCFusion 将全景质量（PQ）提升 3.0 点，达到 59.3 PQ，相比基线的 56.3 显著提升。
• 在 Cityscapes 上，OCFusion 达到 59.3 PQ，较基线提升 0.7 点，其中目标类 AP 提升 1.7 点，而物体系 AP 无变化（0.0 点）。
• 消融实验证实，启用同类别遮挡处理后，Cityscapes 上目标类 AP 提升 1.7 点，凸显其重要性。
• 在 COCO 上，推理时间仅增加 2.0%，在 Cityscapes 上增加 4.7%，表明计算开销极低。
• 可视化对比显示，与基于置信度的融合方法相比，OCFusion 更好地保留了实例细节（如手臂位于躯干之上），后者常导致部分被遮挡。
• 即使仅训练数千轮迭代，遮挡头仍表现有效，表明其能从自动构建的遮挡数据集中实现强大泛化能力。