[论文解读] Few-shot Semantic Segmentation with Support-induced Graph Convolutional Network

Jie Liu, Yanqi Bao+5 more|arXiv (Cornell University)|Jan 9, 2023

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出了一种支持引导图卷积网络（SiGCN），用于少样本语义分割，通过使用支持图像引导的图推理方法，显式挖掘查询图像中的上下文结构，从而增强查询特征表示。通过集成支持引导图推理（SiGR）模块与实例关联（IA）模块，SiGCN在PASCAL-5i和COCO-20i基准上实现了最先进性能，尤其在显著的外观差异条件下表现优异。

ABSTRACT

Few-shot semantic segmentation (FSS) aims to achieve novel objects segmentation with only a few annotated samples and has made great progress recently. Most of the existing FSS models focus on the feature matching between support and query to tackle FSS. However, the appearance variations between objects from the same category could be extremely large, leading to unreliable feature matching and query mask prediction. To this end, we propose a Support-induced Graph Convolutional Network (SiGCN) to explicitly excavate latent context structure in query images. Specifically, we propose a Support-induced Graph Reasoning (SiGR) module to capture salient query object parts at different semantic levels with a Support-induced GCN. Furthermore, an instance association (IA) module is designed to capture high-order instance context from both support and query instances. By integrating the proposed two modules, SiGCN can learn rich query context representation, and thus being more robust to appearance variations. Extensive experiments on PASCAL-5i and COCO-20i demonstrate that our SiGCN achieves state-of-the-art performance.

研究动机与目标

• 解决少样本语义分割（FSS）中支持图像与查询图像之间存在显著外观差异的问题，该问题会削弱基于传统特征匹配方法的性能。
• 通过显式建模查询对象显著部分之间的上下文关系，提升查询掩码预测的鲁棒性。
• 提出一种新颖机制，利用支持原型引导图-based上下文学习，而非单纯依赖特征匹配。
• 从支持和查询实例中捕捉高阶实例级上下文，以提升对新类别的分割泛化能力。
• 在1-shot和5-shot设置下，尽管支持与查询样本之间存在显著外观差异，仍实现最先进性能。

提出的方法

• 提出一种支持引导图推理（SiGR）模块，基于支持-查询特征匹配生成的激活图构建查询图，聚焦于具有判别性的物体部分。
• 引入支持原型作为引导，迭代更新查询图，实现更精确且上下文感知的特征聚合。
• 设计一种实例关联（IA）模块，通过建模支持与查询实例之间的关系，捕捉高阶上下文特征。
• 利用图卷积网络（GCNs）在查询图的节点间传播并优化特征，其中支持原型影响消息传递过程。
• 应用掩码阈值机制（t=0.7）选择高置信度、具有判别性的部分用于图构建，提升定位精度。
• 将SiGR与IA模块整合到统一的SiGCN框架中，联合优化查询上下文表征与支持引导推理。

Figure 1: Comparison between (a) previous typical few-shot segmentation (FSS) methods and (b) the proposed support-induced graph convolutional network (SiGCN). (a) Previous FSS methods focus on designing effective feature matching mechanism between support prototypes/features and query feature. Howe

实验结果

研究问题

• RQ1 显式建模查询对象上下文是否能提升在少样本语义分割中面对显著外观差异时的分割鲁棒性？
• RQ2 与传统特征匹配方法相比，支持引导图推理如何提升特征表征能力？
• RQ3 整合来自支持和查询图像的高阶实例上下文对分割性能有何影响？
• RQ4 超参数如支持原型数量（k）、实例大小（s）和掩码阈值（t）对模型性能有何影响？
• RQ5 所提出的SiGCN框架在1-shot和5-shot设置下，能否在PASCAL-5i和COCO-20i等多样化基准上实现有效泛化？

主要发现

• SiGCN在PASCAL-5i上实现最先进性能，1-shot mIoU达到65.3，5-shot mIoU达到77.5，优于先前方法。
• SiGR模块对性能提升贡献最大，消融实验表明其引入使基线模型mIoU显著提高。
• IA模块不可或缺，因其移除会导致性能下降，表明其在捕捉互补高阶上下文中的关键作用。
• 使用5个支持原型（k=5）时性能最佳，表明原型多样性与引导质量之间达到最优平衡。
• 采用ResNet-101作为骨干网络时模型表现更优（1-shot mIoU为65.7），优于VGG16和ResNet-50。
• 消融实验表明，t=0.7为选择判别性部分的最优掩码阈值，s=10为上下文建模的最佳实例大小。

Figure 2: Overall architecture of our proposed network. Firstly, the feature embedding and matching network are introduced to generate support feature $x_{s}$ , query feature $x_{q}$ , middle-level activation map $A_{m}^{r}$ , and high-level activation map $A_{h}^{r}$ . Then, the support-induced gra