[论文解读] CRNet: Cross-Reference Networks for Few-Shot Segmentation

Weide Liu, Chi Zhang+2 more|arXiv (Cornell University)|Mar 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用 19

一句话总结

CRNet 提出了一种用于少样本图像分割的对称交叉参考网络，该网络在支持图像和查询图像中联合预测分割掩码，通过交叉参考模块利用共现特征，并通过带有置信度缓存的循环掩码精炼模块改进预测。该方法在 PASCAL VOC 2012 上实现了最先进性能，尤其在 5-shot 设置下表现优异，当在多个支持图像上微调时，mIoU 相较于先前方法最高提升 8.4 点。

ABSTRACT

Over the past few years, state-of-the-art image segmentation algorithms are based on deep convolutional neural networks. To render a deep network with the ability to understand a concept, humans need to collect a large amount of pixel-level annotated data to train the models, which is time-consuming and tedious. Recently, few-shot segmentation is proposed to solve this problem. Few-shot segmentation aims to learn a segmentation model that can be generalized to novel classes with only a few training images. In this paper, we propose a cross-reference network (CRNet) for few-shot segmentation. Unlike previous works which only predict the mask in the query image, our proposed model concurrently make predictions for both the support image and the query image. With a cross-reference mechanism, our network can better find the co-occurrent objects in the two images, thus helping the few-shot segmentation task. We also develop a mask refinement module to recurrently refine the prediction of the foreground regions. For the $k$-shot learning, we propose to finetune parts of networks to take advantage of multiple labeled support images. Experiments on the PASCAL VOC 2012 dataset show that our network achieves state-of-the-art performance.

研究动机与目标

• 为解决少样本图像分割的挑战，即模型必须在仅有少数标注样本的情况下泛化到新类别。
• 克服先前方法中单向引导的局限性，即仅使用支持图像来指导查询图像的分割。
• 通过对称架构实现支持图像与查询图像之间的相互精炼，提升掩码预测的准确性。
• 开发一种有效的掩码精炼机制，通过置信度缓存迭代改进预测结果。
• 提出一种基于微调的 k-shot 学习策略，使性能随支持图像数量增加而提升，与性能趋于饱和的融合基线方法形成对比。

提出的方法

• CRNet 采用双分支编码器-解码器架构，同时在支持图像和查询图像中预测前景掩码。
• 交叉参考模块比较两幅图像之间的特征，通过识别共现物体生成增强表示，提升特征判别能力。
• 掩码精炼模块使用置信度图作为缓存，通过在每一步更新缓存中的新概率图，迭代地改进预测结果。
• 在 k-shot 学习中，网络通过最多 k² 对图像对（由 k 个支持图像生成）进行微调，以更好地利用多个标注样本。
• 网络采用联合损失进行训练：在查询图像上使用主要分割损失，同时在交叉参考模块的共现预测任务上使用辅助损失。
• 测试阶段应用多尺度推理和多层级特征融合，以提升对尺度变化的鲁棒性并增强定位精度。

实验结果

研究问题

• RQ1 与单向引导相比，支持图像和查询图像中对称预测是否能提升少样本分割性能？
• RQ2 基于置信度缓存的掩码精炼模块在迭代改进前景掩码预测方面效果如何？
• RQ3 在 k-shot 分割中，对网络在多个支持图像上进行微调是否优于特征或掩码融合方法？
• RQ4 多层级特征和多尺度测试如何影响模型的鲁棒性和准确性？
• RQ5 交叉参考模块在提升共现物体检测与分割的特征表示方面有何贡献？

主要发现

• 仅使用交叉参考模块，mIoU 相较于无该模块的基线模型提升超过 10%，证明其在特征增强中的关键作用。
• 采用置信度缓存的掩码精炼模块相比单次推理基线，mIoU 提升 3.1 点，显著改善了预测质量。
• 在 5-shot 设置下，基于微调的方法相比融合基线方法 mIoU 提升 8.4 点，且随着支持图像数量增加持续提升，而融合方法则开始下降。
• 多尺度测试在 1-shot 设置下使 mIoU 提升 1.2 点，表明对尺度变化具有更强鲁棒性。
• 使用多层级特征而非仅最后一层特征，mIoU 提升 1.8 点，凸显中层上下文特征的重要性。
• 在 MS COCO 上的消融实验确认，交叉参考模块和掩码精炼模块均对性能有显著贡献，完整模型达到最高 mIoU。