[论文解读] Differentiable Meta-learning Model for Few-shot Semantic Segmentation

Pinzhuo Tian, Zhangkai Wu+4 more|arXiv (Cornell University)|Nov 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用 6

一句话总结

该论文提出 MetaSegNet，一种用于少样本语义分割的可微分元学习框架，通过线性分类器和一种新颖的具有全局与局部特征分支的嵌入模块，将任务形式化为像素级分类问题。该方法在无需预训练或额外知识的情况下，从零开始端到端训练，在 PASCAL VOC 和 COCO 数据集上实现了当前最优性能，适用于 K 类、N 次样本的少样本分割任务。

ABSTRACT

To address the annotation scarcity issue in some cases of semantic segmentation, there have been a few attempts to develop the segmentation model in the few-shot learning paradigm. However, most existing methods only focus on the traditional 1-way segmentation setting (i.e., one image only contains a single object). This is far away from practical semantic segmentation tasks where the K-way setting (K>1) is usually required by performing the accurate multi-object segmentation. To deal with this issue, we formulate the few-shot semantic segmentation task as a learning-based pixel classification problem and propose a novel framework called MetaSegNet based on meta-learning. In MetaSegNet, an architecture of embedding module consisting of the global and local feature branches is developed to extract the appropriate meta-knowledge for the few-shot segmentation. Moreover, we incorporate a linear model into MetaSegNet as a base learner to directly predict the label of each pixel for the multi-object segmentation. Furthermore, our MetaSegNet can be trained by the episodic training mechanism in an end-to-end manner from scratch. Experiments on two popular semantic segmentation datasets, i.e., PASCAL VOC and COCO, reveal the effectiveness of the proposed MetaSegNet in the K-way few-shot semantic segmentation task.

研究动机与目标

• 解决标注数据有限情况下的语义分割挑战，特别是在多对象（K 类）场景下，少样本学习尚处于探索阶段。
• 克服现有方法依赖度量学习、在 ImageNet 上预训练或使用复杂非线性分类器所带来的局限，这些因素阻碍了端到端训练。
• 开发一种在无需先验知识或大量微调的情况下，能良好泛化于各类少样本任务的框架。
• 通过采用简单而强大的架构，实现从零开始的有效训练，适用于像素级分类任务。

提出的方法

• 将少样本语义分割形式化为密集像素分类任务，而非图像级相似性匹配。
• 提出一种新颖的嵌入模块，包含两个并行分支：一个用于全局上下文，一个用于局部特征，以提取全面的元知识。
• 使用线性岭回归模型作为基学习器，以在元训练过程中实现高效且稳定的优化。
• 通过元 episodic 训练端到端训练整个模型，每个 episode 模拟一个包含支持集和查询集的新少样本分割任务。
• 利用元损失优化嵌入模块，使其在多样化的 K 类少样本任务中具备良好泛化能力。
• 设计框架时确保无需在 ImageNet 或其他外部数据集上进行预训练即可从零开始训练。

实验结果

研究问题

• RQ1 基于学习的像素分类方法是否能在 K 类少样本语义分割中超越基于相似度的度量学习方法？
• RQ2 与非线性分类器相比，使用线性分类器是否能提升少样本分割中的训练稳定性和性能？
• RQ3 结合全局与局部特征的双分支嵌入模块在少样本分割中效果如何？
• RQ4 模型是否能在不依赖 ImageNet 等大规模数据集预训练的情况下实现优异性能？
• RQ5 支持样本数量在少样本设置下如何影响分割准确率？

主要发现

• 在 1 次样本、2 类的 PASCAL-5i_val 数据集划分上，MetaSegNet 的平均 IoU 达到 38.92%，比之前最优方法高出 1.17%。
• 在 5 次样本设置下，MetaSegNet 的平均 IoU 达到 49.44%，比第二好的方法高出 1.10%。
• 消融研究证实，全局上下文分支对性能有显著贡献，在 1 次样本和 5 次样本设置下分别使 mIoU 提升 1.27% 和 1.10%。
• 将岭回归替换为 1×1 卷积层（MetaSegConv）后，1 次样本设置下性能下降 2.75%，5 次样本设置下下降 12.3%，证明了线性分类器的优越性。
• 模型表现出支持集样本数量与性能之间的正相关关系，证实了对有限监督信息的有效利用。
• MetaSegNet 在无需任何预训练或外部知识的情况下达到当前最优结果，证明了其在真正少样本场景下的有效性。