[论文解读] Generalized Few-shot Semantic Segmentation

Zhuotao Tian, Xin Lai+5 more|arXiv (Cornell University)|Oct 11, 2020

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了广义少样本语义分割（GFS-Seg）这一新基准，用于评估模型在推理时无需支持图像的情况下，同时分割基础类和新类的能力。该工作提出了一种上下文感知原型学习（CAPL）方法，通过利用共现先验和查询条件自适应机制，动态增强上下文信息并提升特征对齐效果，在GFS-Seg和标准FS-Seg基准上均取得了当前最优性能，且模型结构改动极小。

ABSTRACT

Training semantic segmentation models requires a large amount of finely annotated data, making it hard to quickly adapt to novel classes not satisfying this condition. Few-Shot Segmentation (FS-Seg) tackles this problem with many constraints. In this paper, we introduce a new benchmark, called Generalized Few-Shot Semantic Segmentation (GFS-Seg), to analyze the generalization ability of simultaneously segmenting the novel categories with very few examples and the base categories with sufficient examples. It is the first study showing that previous representative state-of-the-art FS-Seg methods fall short in GFS-Seg and the performance discrepancy mainly comes from the constrained setting of FS-Seg. To make GFS-Seg tractable, we set up a GFS-Seg baseline that achieves decent performance without structural change on the original model. Then, since context is essential for semantic segmentation, we propose the Context-Aware Prototype Learning (CAPL) that significantly improves performance by 1) leveraging the co-occurrence prior knowledge from support samples, and 2) dynamically enriching contextual information to the classifier, conditioned on the content of each query image. Both two contributions are experimentally shown to have substantial practical merit. Extensive experiments on Pascal-VOC and COCO manifest the effectiveness of CAPL, and CAPL generalizes well to FS-Seg by achieving competitive performance. Code is available at https://github.com/dvlab-research/GFS-Seg.

研究动机与目标

• 为解决少样本分割（FS-Seg）在实际应用中的局限性，即推理时需要支持图像，且无法同时处理基础类的问题。
• 提出一种新基准——广义少样本语义分割（GFS-Seg），在推理阶段无需支持输入的情况下，同时评估模型对基础类和新类的分割能力。
• 分析当前最先进FS-Seg方法在GFS-Seg设置下失效的原因，归因于其假设过于受限。
• 提出一种通用方法——上下文感知原型学习（CAPL），通过极小的结构改动，显著提升GFS-Seg与标准FS-Seg任务上的性能。

提出的方法

• 提出GFS-Seg的三阶段流程：基础类学习、使用少样本支持样本注册新类、在无支持输入条件下联合评估基础类与新类。
• 设计GFS-Seg基线模型，保留原始网络结构，仅增加新类注册阶段。
• 设计上下文感知原型学习（CAPL），通过利用支持样本中的共现先验信息，提升特征对齐效果。
• 采用可学习的两层MLP生成上下文感知的gamma向量，基于查询图像内容自适应地优化基础类原型。
• 在推理阶段通过动态调整分类器权重，利用查询相关特征实现上下文增强。
• 将CAPL无缝集成至PANet、PFENet和DeepLab等现有语义分割模型中，无需修改网络结构。

实验结果

研究问题

• RQ1 为何当前最先进少样本分割（FS-Seg）模型在广义少样本设置（GFS-Seg）下表现不佳？
• RQ2 能否设计一种统一模型，在推理时无需支持样本的情况下，同时有效分割基础类与新类？
• RQ3 如何利用支持样本与查询图像中的上下文信息，提升少样本分割中的原型学习效果？
• RQ4 基于查询的动态、条件自适应原型调整，在GFS-Seg与标准FS-Seg任务中能带来多大性能提升？
• RQ5 CAPL这类方法是否能在不进行架构重设计的前提下，泛化至不同主干网络与数据集？

主要发现

• 所提出的GFS-Seg基准表明，即使近期SOTA FS-Seg模型在广义设置下表现欠佳，其根本原因在于模型设计本身存在固有约束。
• CAPL在Pascal-VOC 5-shot设置下相较基线提升1.5–2.5 mIoU，在COCO-20 i 5-shot设置下提升1.5–2.0 mIoU，性能增益显著。
• 在COCO-20 i数据集上，CAPL使用Res-101主干网络时，1-shot达到47.3 mIoU，5-shot达到50.4 mIoU，优于先前方法。
• 在标准FS-Seg设置下，CAPL使PFENet性能提升2.5 mIoU（1-shot）和2.1 mIoU（5-shot），达到当前最优水平。
• 消融实验表明，训练对齐（CAPL-Tr）与上下文增强（CAPL-Te）均不可或缺，二者结合可获得最佳结果。
• CAPL在不同模型与主干网络（包括ResNet-50与ResNet-101）上均表现出良好泛化能力，且推理速度与原始模型几乎一致。