[论文解读] Mask Scoring R-CNN

Zhaojin Huang, Lichao Huang+3 more|arXiv (Cornell University)|Mar 1, 2019

Machine Learning and Data Classification被引用 5

一句话总结

Mask Scoring R-CNN 提出了一种新颖的头结构——MaskIoU head，用于预测预测掩码与真实掩码之间的交并比（IoU），以改进实例分割的评分。通过直接从特征回归掩码质量，并将其与分类分数结合，该方法在多个主干网络上均实现了约1.5%的mAP持续提升，使掩码评分与实际掩码质量更加一致。

ABSTRACT

Letting a deep network be aware of the quality of its own predictions is an interesting yet important problem. In the task of instance segmentation, the confidence of instance classification is used as mask quality score in most instance segmentation frameworks. However, the mask quality, quantified as the IoU between the instance mask and its ground truth, is usually not well correlated with classification score. In this paper, we study this problem and propose Mask Scoring R-CNN which contains a network block to learn the quality of the predicted instance masks. The proposed network block takes the instance feature and the corresponding predicted mask together to regress the mask IoU. The mask scoring strategy calibrates the misalignment between mask quality and mask score, and improves instance segmentation performance by prioritizing more accurate mask predictions during COCO AP evaluation. By extensive evaluations on the COCO dataset, Mask Scoring R-CNN brings consistent and noticeable gain with different models, and outperforms the state-of-the-art Mask R-CNN. We hope our simple and effective approach will provide a new direction for improving instance segmentation. The source code of our method is available at \url{https://github.com/zjhuang22/maskscoring_rcnn}.

研究动机与目标

• 解决实例分割中分类置信度与实际掩码质量之间的不匹配问题。
• 通过学习更精确的掩码评分机制来提升实例分割性能。
• 利用学习到的掩码质量预测器校准掩码评分，使其更准确地反映与真实掩码的 IoU。
• 提供一种简单而有效的方法，通过优化假设评分来提升 COCO mAP 等评估指标。
• 通过将掩码质量估计与分类解耦，实现在不同主干网络上的更好泛化能力。

提出的方法

• 引入一个 MaskIoU head，以 RoI 特征和预测掩码作为输入，回归预测掩码与其真实掩码之间的 IoU。
• 使用每个实例的真实 IoU 的简单 L1 回归损失来训练 MaskIoU head。
• 将预测的 MaskIoU 与原始分类分数结合，形成优化后的掩码评分：final_score = classification_score × predicted_MaskIoU。
• 在不修改主干网络或检测头的前提下，将 MaskIoU head 集成到 Mask R-CNN 框架中。
• 使用 SoftNMS 对提议框进行排序并选择前100个用于评估，确保推理过程中评分的一致性。
• 在所有训练样本（包括低 IoU 样本）上训练 MaskIoU head，以提升泛化能力并增强与真实 IoU 的相关性。

实验结果

研究问题

• RQ1 当使用学习到的掩码质量预测器重新加权掩码评分时，是否能提升实例分割性能？
• RQ2 预测的 MaskIoU 与真实 IoU 之间的相关性在不同主干网络上如何变化？
• RQ3 在实例分割中，使用真实 IoU 作为掩码评分的上限，其影响是什么？
• RQ4 所提出的方法是否在不同主干架构和模型尺度下均能持续提升性能？
• RQ5 添加 MaskIoU head 的计算成本是多少，其在实际中是否可忽略？

主要发现

• 在 COCO 2017 验证集上，MaskIoU head 实现了约 0.74 的预测 IoU 与真实 IoU 之间的相关系数，表明其具有强大的预测能力。
• 在所有训练样本（包括低 IoU 样本）上进行 MaskIoU head 训练可获得最佳性能，优于基于阈值的采样方法。
• 当使用 ResNet-18 FPN 时，Mask Scoring R-CNN 相较于 Mask R-CNN 将 COCO mAP 提升了 1.6 个百分点；使用 ResNet-101 DCN+FPN 时，提升了 1.4 个百分点。
• 若能完美预测 MaskIoU（即用真实 IoU 替代预测 IoU），则在 ResNet-18 FPN 和 ResNet-101 DCN+FPN 上分别可额外获得 2.2 和 2.6 的 mAP 提升。
• MaskIoU head 的计算成本可忽略不计，每个提议框仅增加约 0.39G FLOPs，且在 TITAN V 上的推理速度与 Mask R-CNN 几乎相同。
• 该方法在不同主干网络上均能持续提升性能，展现出良好的泛化能力和对架构变化的鲁棒性。