[论文解读] FGN: Fully Guided Network for Few-Shot Instance Segmentation

Zhibo Fan, Jin-Gang Yu+5 more|arXiv (Cornell University)|Mar 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 10

一句话总结

该论文提出完全引导网络（FGN），一种用于少样本实例分割的新框架，通过在Mask R-CNN的不同组件中引入三种不同的引导机制——注意力引导RPN、关系引导检测器和注意力引导全连接网络（FCN），以充分利用支持集知识。FGN在COCO和VOC基准上实现了最先进（SOTA）的性能，在少样本设置下的检测和分割mAP均优于先前方法。

ABSTRACT

Few-shot instance segmentation (FSIS) conjoins the few-shot learning paradigm with general instance segmentation, which provides a possible way of tackling instance segmentation in the lack of abundant labeled data for training. This paper presents a Fully Guided Network (FGN) for few-shot instance segmentation. FGN perceives FSIS as a guided model where a so-called support set is encoded and utilized to guide the predictions of a base instance segmentation network (i.e., Mask R-CNN), critical to which is the guidance mechanism. In this view, FGN introduces different guidance mechanisms into the various key components in Mask R-CNN, including Attention-Guided RPN, Relation-Guided Detector, and Attention-Guided FCN, in order to make full use of the guidance effect from the support set and adapt better to the inter-class generalization. Experiments on public datasets demonstrate that our proposed FGN can outperform the state-of-the-art methods.

研究动机与目标

• 解决在标注数据有限的情况下少样本实例分割的挑战，因为现有方法在新类别上的泛化能力不足。
• 克服先前方法在Mask R-CNN所有组件中统一应用单一引导机制的局限性。
• 设计一个完全引导的框架，使Mask R-CNN的关键组件均从支持集获得任务特定的引导，以提升类别间泛化能力。
• 开发针对实例分割中RPN、检测器和掩码头独特需求而定制的有效、模块化引导机制。
• 通过全面的消融实验和对比研究，在公开的少样本实例分割基准上展示优越性能。

提出的方法

• 提出注意力引导RPN（AG-RPN），利用类别感知注意力编码支持集特征，并指导新类别区域提议的生成。
• 提出关系引导检测器（RG-DET），通过显式的关系建模，将支持集特征与提议特征进行比较，以增强分类和边界框回归。
• 设计注意力引导全连接网络（AG-FCN），将来自支持集的通道注意力向量应用于重加权特征图，以提升掩码预测性能。
• 采用多阶段训练策略，在推理时集成支持集编码与引导机制，实现有效的少样本适应。
• 使用两阶段Mask R-CNN主干网络，其中每个阶段（RPN和检测器）由不同的机制引导，以确保充分使用支持集信息。
• 实现一种新型损失函数，结合检测、分类和掩码分割损失，通过支持集监督实现端到端优化。

实验结果

研究问题

• RQ1 是否能够通过共享的支持集，在统一框架中有效引导Mask R-CNN的不同组件，实现少样本实例分割？
• RQ2 在RPN、检测器和掩码头中应用任务特定的引导机制，是否能比单一机制引导带来更好的泛化性能？
• RQ3 基于注意力和基于关系的引导机制在提升提议质量与掩码预测准确率方面有何差异？
• RQ4 在所有组件上实现全面引导，能在多大程度上提升少样本实例分割基准的性能？
• RQ5 所提出的引导机制是否能在不同少样本设置（如3-way-3-shot、5-way-1-shot）和数据集（COCO、VOC）上实现泛化？

主要发现

• FGN在COCO2VOC少样本实例分割基准上实现了最先进（SOTA）性能，在检测和分割mAP上均优于先前方法。
• 消融实验证实，每个引导模块——AG-RPN、RG-DET和AG-FCN——对整体性能均有显著贡献，完整FGN模型表现最佳。
• AG-RPN在提议质量方面优于基线RPN和AG-RPN-v1（来自[21]），在所有变体中达到最高的AR50得分。
• AG-FCN优于AG-FCN-v1（来自[32]）和AG-FCN-v2（通道拼接与连接变体），证明了所提注意力机制的有效性。
• 在VOC2VOC设置下，即使训练集较小，FGN仍实现了最佳整体mAP，表现出对数据稀缺的强鲁棒性。
• 在COCO2VOC 3-way-3-shot设置下，完整FGN模型的mAP50达到17.9，显著优于次优方法。