[论文解读] MP-Former: Mask-Piloted Transformer for Image Segmentation

Hao Zhang, Feng Li+5 more|arXiv (Cornell University)|Mar 13, 2023

Advanced Neural Network Applications被引用 6

一句话总结

MP-Former 提出了一种掩码引导的训练方法，通过在所有解码器层中将带噪声的真实掩码作为注意力掩码，提升了 Mask2Former 的性能，使模型能够重建出更准确的预测结果。该方法减少了层间不一致的掩码预测，提高了查询利用率，并在使用 ResNet-50 主干网络时，使 Cityscapes 数据集上的实例分割和语义分割 mAP 提升 2.3，mIoU 提升 1.6，同时将训练时间减半，且推理阶段增加的计算可忽略不计。

ABSTRACT

We present a mask-piloted Transformer which improves masked-attention in Mask2Former for image segmentation. The improvement is based on our observation that Mask2Former suffers from inconsistent mask predictions between consecutive decoder layers, which leads to inconsistent optimization goals and low utilization of decoder queries. To address this problem, we propose a mask-piloted training approach, which additionally feeds noised ground-truth masks in masked-attention and trains the model to reconstruct the original ones. Compared with the predicted masks used in mask-attention, the ground-truth masks serve as a pilot and effectively alleviate the negative impact of inaccurate mask predictions in Mask2Former. Based on this technique, our \M achieves a remarkable performance improvement on all three image segmentation tasks (instance, panoptic, and semantic), yielding $+2.3$AP and $+1.6$mIoU on the Cityscapes instance and semantic segmentation tasks with a ResNet-50 backbone. Our method also significantly speeds up the training, outperforming Mask2Former with half of the number of training epochs on ADE20K with both a ResNet-50 and a Swin-L backbones. Moreover, our method only introduces little computation during training and no extra computation during inference. Our code will be released at \url{https://github.com/IDEA-Research/MP-Former}.

研究动机与目标

• 为解决 Mask2Former 中连续解码器层之间掩码预测不一致的问题，该问题会降低优化效率并减少查询利用率。
• 通过在训练过程中使用真实掩码作为引导信号，改进 Transformer 模型中的掩码注意力机制，以提升图像分割性能。
• 开发一种无需增加推理成本或模型复杂度的训练方法，以提升模型性能。
• 在保持或提升多个基准测试的分割精度的同时，加速训练收敛。

提出的方法

• 将解码器查询分为匹配部分（标准的二分图匹配）和掩码引导（MP）部分，其中后者使用真实类别嵌入和掩码作为查询和注意力掩码。
• 训练 MP 部分从带噪声的输入中重建原始的真实掩码和标签，通过引入点噪声和标签翻转来增强模型鲁棒性。
• 在所有解码器层中应用多层掩码引导训练，以稳定预测并提升一致性。
• 在解码器中使用从粗到细的特征图，其中最大分辨率的特征图（1/8 分辨率）在所有层中共享，以提升特征精炼效果。
• 引入标签引导训练，通过在 MP 部分使用类别嵌入作为查询，实现掩码和类别预测的联合恢复。
• 对真实掩码和标签应用噪声增强（点噪声、缩放、平移），以增强泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 解码器层之间掩码预测的不一致性是否降低 Mask2Former 的性能？该影响是否可量化？
• RQ2 在掩码注意力机制中使用真实掩码作为引导信号，是否能提升预测的一致性和性能？
• RQ3 结合噪声增强的多层掩码引导训练是否能带来更高的查询利用率和分割精度？
• RQ4 所提方法是否能减少训练步数，同时保持或超越 Mask2Former 的性能表现？
• RQ5 该方法是否引入显著的推理开销或架构改动？

主要发现

• 在使用 ResNet-50 主干网络时，MP-Former 在 Cityscapes 数据集上的实例分割和语义分割任务中，mAP 提升 2.3，mIoU 提升 1.6。
• 在 ADE20K 数据集上，MP-Former 使用 36 个周期的训练即可达到 Mask2Former 训练 50 个周期的性能；在 80k 步训练下，其性能可与 Mask2Former 在 160k 步训练下的结果相当。
• 使用 Swin-L 主干网络时，MP-Former 在 COCO 实例分割任务中，经过 72 个周期训练，mAP 提升 1.1，优于 Mask2Former。
• 该方法显著提升了逐层查询利用率和平均 IoU，验证了其在减少预测不一致性方面的有效性。
• 引入点噪声可带来 +0.3 mAP 的性能提升，而缩放和位移噪声则无明显增益。
• 在 MP-Former 中，将最大分辨率特征图（1/8）在整个解码器所有层中共享，其性能优于从粗到细的特征图设计，这与 Mask2Former 的设计原则相反。