[论文解读] Focus on Query: Adversarial Mining Transformer for Few-Shot Segmentation

Yuan Wang, Naisong Luo+1 more|arXiv (Cornell University)|Nov 29, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一种对抗性挖掘Transformer（AMFormer），这是一种以查询为中心的少样本分割模型，通过专注于优化查询特征而非提取细粒度的支持信息，实现了最先进（SOTA）的性能。它采用全局扩展网络（G）与细节挖掘网络（D）之间的对抗性训练方案，利用类内相似性逐步优化粗预测，在仅使用粗略支持标签的情况下，于Pascal-5i数据集上实现了76.8%的mIoU。

ABSTRACT

Few-shot segmentation (FSS) aims to segment objects of new categories given only a handful of annotated samples. Previous works focus their efforts on exploring the support information while paying less attention to the mining of the critical query branch. In this paper, we rethink the importance of support information and propose a new query-centric FSS model Adversarial Mining Transformer (AMFormer), which achieves accurate query image segmentation with only rough support guidance or even weak support labels. The proposed AMFormer enjoys several merits. First, we design an object mining transformer (G) that can achieve the expansion of incomplete region activated by support clue, and a detail mining transformer (D) to discriminate the detailed local difference between the expanded mask and the ground truth. Second, we propose to train G and D via an adversarial process, where G is optimized to generate more accurate masks approaching ground truth to fool D. We conduct extensive experiments on commonly used Pascal-5i and COCO-20i benchmarks and achieve state-of-the-art results across all settings. In addition, the decent performance with weak support labels in our query-centric paradigm may inspire the development of more general FSS models. Code will be available at https://github.com/Wyxdm/AMNet.

研究动机与目标

• 为解决当前少样本分割方法过度依赖细粒度支持信息的局限性，尤其是在类内多样性较高的情况下。
• 探究仅使用粗略类别级支持指导是否足以实现准确的查询图像分割。
• 开发一种以查询为中心的范式，利用类内相似性从不完整的激活中恢复完整的对象掩码。
• 通过设计对弱或不完整支持标签具有鲁棒性的模型，降低对精确支持标注的依赖。
• 通过局部细节判别引导的对抗性粗预测优化，提升分割精度。

提出的方法

• 引入一种对象挖掘Transformer（G），利用类内特征相似性，扩展查询图像中不完整、由支持激活的区域。
• 提出一种细节挖掘Transformer（D），识别扩展掩码与真实掩码之间的局部差异，以指导优化。
• 采用对抗性训练目标，使G生成越来越准确的掩码以欺骗D，从而实现从粗到精的优化过程。
• 在D中使用可学习的局部代理，聚焦于如对象边界等模糊区域，提升定位精度。
• 在G中应用多尺度特征聚合，以处理查询图像中尺度多样的物体。
• 在D中引入多样性损失（$\mathcal{L}_{div}$），防止代理聚集到同一区域，确保特征覆盖的全面性。

实验结果

研究问题

• RQ1 是否能够仅使用粗略类别级支持指导而非精确的像素级支持特征，实现高性能的少样本分割模型？
• RQ2 在类内多样性较高的情况下，类内相似性相较于类间或类内类别相似性，在引导掩码优化方面表现如何？
• RQ3 在不依赖细粒度支持监督的前提下，全局扩展网络与局部细节判别器之间的对抗性训练是否能提升分割精度？
• RQ4 弱支持标注（如边界框、草图）对以查询为中心的FSS模型性能有何影响？
• RQ5 多尺度特征聚合如何增强模型在不同物体尺度下的掩码预测鲁棒性？

主要发现

• AMFormer在Pascal-5i基准的1-shot设置下实现了76.8%的mIoU，创下新的最先进（SOTA）性能纪录。
• 即使80%的支持特征被擦除，模型仍保持强劲性能（69.3% mIoU），证明其对不完整支持信息具有高度鲁棒性。
• 与仅使用G相比，添加细节挖掘Transformer（D）使性能提升1.2% mIoU，其中多样性损失（$\mathcal{L}_{div}$）是该提升的关键因素。
• 在D中使用10个局部代理可实现最优性能，因为更多代理会因冗余而带来边际收益递减。
• 在Pascal-5i上，使用边界框支持时模型实现73.1% mIoU，使用草图支持时实现71.5% mIoU，证明在弱监督设置下的可行性。
• 可视化结果表明，由粗略指导生成的伪支持图像比真实支持图像更能完整捕捉对象属性，原因在于其与查询特征的错位更小。