[论文解读] A Few Guidelines for Incremental Few-Shot Segmentation.

Fabio Cermelli, Massimiliano Mancini+3 more|arXiv (Cornell University)|Nov 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用 6

一句话总结

本文提出了一种新颖的方法，通过在少量新类图像上微调预训练模型，实现增量少样本语义分割，在 COCO 和 Pascal-VOC 2012 上取得了最先进性能。通过批量重归一化和正则化技术，缓解了灾难性遗忘和批量归一化统计漂移问题，从而在不同少样本设置和多个学习阶段中均实现了稳定提升。

ABSTRACT

Reducing the amount of supervision required by neural networks is especially important in the context of semantic segmentation, where collecting dense pixel-level annotations is particularly expensive. In this paper, we address this problem from a new perspective: Incremental Few-Shot Segmentation. In particular, given a pretrained segmentation model and few images containing novel classes, our goal is to learn to segment novel classes while retaining the ability to segment previously seen ones. In this context, we discover, against all beliefs, that fine-tuning the whole architecture with these few images is not only meaningful, but also very effective. We show how the main problems of end-to-end training in this scenario are i) the drift of the batch-normalization statistics toward novel classes that we can fix with batch renormalization and ii) the forgetting of old classes, that we can fix with regularization strategies. We summarize our findings with five guidelines that together consistently lead to the state of the art on the COCO and Pascal-VOC 2012 datasets, with different number of images per class and even with multiple learning episodes.

研究动机与目标

• 通过使模型能够从少量样本中学习新类别，减少语义分割中昂贵的密集像素级标注需求。
• 在增量学习设置中，解决在学习新类别时保持对先前见过类别性能的挑战。
• 克服端到端微调中的两个关键问题：批量归一化统计量向新类别漂移，以及旧类别的灾难性遗忘。
• 开发一个鲁棒且可泛化的框架，适用于不同少样本设置，包括支持图像数量变化和多个学习阶段。

提出的方法

• 在每个新类别的少量标注图像上端到端微调整个分割模型，与通常认为此方法会失败的假设相反。
• 应用批量重归一化以在训练过程中稳定批量归一化统计量，防止其向新类别分布漂移。
• 采用正则化策略以减轻在增量学习过程中对先前学习类别的灾难性遗忘。
• 设计一个支持多个学习阶段的训练流程，实现在时间上持续学习且遗忘极少。
• 利用预训练分割模型作为强初始化，使模型能以极少数据快速适应新类别。
• 使用统一的训练目标，平衡新类别上的分割准确率与旧类别性能的保持。

实验结果

研究问题

• RQ1 仅在每个新类别上使用少量图像对整个分割网络进行端到端微调，是否能在增量少样本分割中实现强性能？
• RQ2 批量归一化统计量向新类别统计量漂移在多大程度上阻碍模型性能？能否有效缓解？
• RQ3 在极少监督的增量学习中，如何减少对先前学习类别的灾难性遗忘？
• RQ4 统一方法是否能在不同少样本设置和多个学习阶段中，在标准基准上实现一致的性能提升？

主要发现

• 仅使用每个新类别少量图像微调整个网络，在 COCO 和 Pascal-VOC 2012 上均实现了最先进性能。
• 批量重归一化有效稳定了批量归一化统计量，防止其在训练过程中向新类别分布漂移。
• 正则化策略显著减少了灾难性遗忘，保持了在多个学习阶段中对先前见过类别的性能。
• 批量重归一化与正则化相结合，可在不同少样本设置中实现一致的性能提升，包括每类支持图像数量不同的情况。
• 该方法在多个学习阶段中表现出良好泛化能力，展示了在极少监督的持续学习场景中的鲁棒性。
• 所提出的指导原则提供了一个可靠且高效的增量少样本分割框架，在标准基准上优于先前方法。