[论文解读] Mask Point R-CNN.

Wenchao Zhang, Chong Fu+1 more|arXiv (Cornell University)|Aug 2, 2020

Advanced Neural Network Applications参考文献 31被引用 3

一句话总结

该论文提出 Mask Point R-CNN，一种增强的实例分割模型，通过引入基于关键点的辅助任务来引导网络关注物体轮廓，从而提升边缘检测性能。通过多任务学习将关键点检测特征与 Mask R-CNN 融合，该方法在计算开销极小的情况下显著提升性能，在 Cityscapes 验证集和测试集上分别实现 5.4% 和 5.0% 的 mAP 提升。

ABSTRACT

The attributes of object contours has great significance for instance segmentation task. However, most of the current popular deep neural networks do not pay much attention to the target edge information. Inspired by the human annotation process when making instance segmentation datasets, in this paper, we propose Mask Point RCNN aiming at promoting the neural networks attention to the target edge information, which can heighten the information propagates between multiple tasks by using different attributes features. Specifically, we present an auxiliary task to Mask RCNN, including utilizing keypoint detection technology to construct the target edge contour, and enhancing the sensitivity of the network to the object edge through multi task learning and feature fusion. These improvements are easy to implement and have a small amount of additional computing overhead. By extensive evaluations on the Cityscapes dataset, the results show that our approach outperforms vanilla Mask RCNN by 5.4% on the validation subset and 5.0% on the test subset.

研究动机与目标

• 通过增强神经网络对物体轮廓细节的关注来提升实例分割性能。
• 解决现有模型在训练过程中难以有效利用精确边缘信息的局限性。
• 引入一种轻量化且高效的辅助任务，以促进跨任务的特征传播。
• 在不显著增加计算成本的前提下实现更高的分割精度。
• 通过在深度网络中显式建模物体边界属性，模拟人类标注行为。

提出的方法

• 引入辅助关键点检测任务，以显式建模物体轮廓点。
• 利用关键点预测结果在训练过程中引导网络聚焦于物体边缘。
• 通过多任务学习将关键点头的特征与掩码头进行融合。
• 利用共享主干特征，实现在检测、分割与关键点预测任务之间的跨任务信息流动。
• 应用特征融合策略以增强边缘感知表征学习能力。
• 在对标准 Mask R-CNN 架构兼容的前提下，仅进行最小程度的架构修改。

实验结果

研究问题

• RQ1 引入基于关键点的辅助任务是否能提升实例分割性能？
• RQ2 对物体轮廓的显式建模在实例分割中如何影响特征学习？
• RQ3 与关键点监督结合的多任务学习在多大程度上提升了边缘检测与分割精度？
• RQ4 将轮廓建模集成到 Mask R-CNN 中的计算成本是多少？
• RQ5 所提出的方法在不同实例分割基准上是否具有良好的泛化能力？

主要发现

• 所提出的 Mask Point R-CNN 在 Cityscapes 验证集上相比原始 Mask R-CNN 实现了 5.4% 的绝对 mAP 提升。
• 在 Cityscapes 测试集上，该方法相比基线 Mask R-CNN 实现了 5.0% 的 mAP 提升。
• 性能提升仅带来极小的计算成本增加，表明该方法具有高效性。
• 辅助关键点任务有效增强了网络对物体边界细节的敏感度。
• 关键点头与掩码头之间的特征融合，实现了边缘感知特征在不同任务间的更好传播。
• 该方法通过显式建模轮廓属性，成功模拟了人类标注行为。