[论文解读] Deep Affinity Net: Instance Segmentation via Affinity

Xingqian Xu, Mang Tik Chiu+2 more|arXiv (Cornell University)|Mar 15, 2020

Advanced Neural Network Applications参考文献 51被引用 10

一句话总结

Deep Affinity Net (DaffNet) 提出了一种基于亲和力的实例分割框架，通过预测像素级亲和力并利用一种新颖的级联图分割算法 Cascade-GAEC，实现无需依赖区域或关键点的实例分割。其在 Cityscapes 验证集上达到 32.4% AP，在测试集上达到 27.5%，优于以往基于亲和力的模型，甚至超越 Mask R-CNN，且推理速度比之前的方法快 7 倍。

ABSTRACT

Most of the modern instance segmentation approaches fall into two categories: region-based approaches in which object bounding boxes are detected first and later used in cropping and segmenting instances; and keypoint-based approaches in which individual instances are represented by a set of keypoints followed by a dense pixel clustering around those keypoints. Despite the maturity of these two paradigms, we would like to report an alternative affinity-based paradigm where instances are segmented based on densely predicted affinities and graph partitioning algorithms. Such affinity-based approaches indicate that high-level graph features other than regions or keypoints can be directly applied in the instance segmentation task. In this work, we propose Deep Affinity Net, an effective affinity-based approach accompanied with a new graph partitioning algorithm Cascade-GAEC. Without bells and whistles, our end-to-end model results in 32.4% AP on Cityscapes val and 27.5% AP on test. It achieves the best single-shot result as well as the fastest running time among all affinity-based models. It also outperforms the region-based method Mask R-CNN.

研究动机与目标

• 提出一种基于学习到的像素亲和力而非区域或关键点的新实例分割范式。
• 解决固定网格亲和力预测和多切割图分割中计算成本高的局限性。
• 开发一种可扩展的端到端模型，实现高精度、单次推理且推理时间低。
• 证明基于亲和力的方法可在精度和速度上超越基于区域的模型（如 Mask R-CNN）。

提出的方法

• DaffNet 使用特征金字塔网络（FPN）主干网络，在多个分辨率下生成语义图、亲和力图和分组嵌入。
• 新颖的分组模块实现了对任意网格间距下亲和力的预测与利用，提升了对断开部分的分割重建效果。
• Cascade-GAEC 将贪心多切割算法 GAEC 与级联结构结合，先处理低分辨率图，再逐步优化高分辨率分割结果。
• 位置感知的 GAEC（PA-GAEC）通过在图分割中标签分配过程中引入空间上下文信息，提升了精度。
• 贪心关联（GAS）模块通过用随机顺序标签分配替代昂贵的优先队列操作，加速了处理过程。
• 模型采用多尺度亲和力损失进行端到端训练，使用衰减权重（0.25, 0.5, 1, 1）以实现最佳性能。

实验结果

研究问题

• RQ1 能否仅以学习到的亲和力作为主要信号，无需依赖边界框或关键点，有效解决实例分割问题？
• RQ2 如何将亲和力预测从固定网格间距扩展，以提升对复杂、碎片化实例的分割效果？
• RQ3 级联图分割策略是否能在降低计算成本的同时保持或提升分割精度？
• RQ4 在基于多切割的分割中，使用贪心加速方法时，速度与精度之间的权衡如何？

主要发现

• DaffNet 使用单次推理在 Cityscapes 验证集上达到 32.4% AP，在测试集上达到 27.5%，优于所有先前的基于亲和力的模型。
• 该模型超越了基于区域的 Mask R-CNN，在保持更高精度的同时实现更快的推理速度。
• Cascade-GAEC 处理一张 Cityscapes 图像仅需 0.24 秒，约为之前最先进方法的 7 倍快。
• 消融实验证实，分组模块带来 4.2% 的 AP 提升，PA-GAEC 增加 1.6%，而完整 Cascade-GAEC 配合 GAS 模块达到 32.4% AP。
• 使用 GAS 加速模块使每张图像的推理时间减少 0.14 秒，尽管在验证集上导致 AP 下降 0.4%，测试集上下降 0.5%。
• Cascade-GAEC 的实际运行时间与图像尺寸近似呈线性关系，支持高效扩展至高分辨率输入。