[论文解读] CATrans: Context and Affinity Transformer for Few-Shot Segmentation

Shan Zhang, Tianyi Wu+2 more|arXiv (Cornell University)|Apr 27, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

CATrans 提出了一种用于少样本图像分割的新颖上下文与关联性 Transformer 模型，通过整合关系引导上下文（RCT）模块与关系引导关联性（RAT）模块，提升跨图像特征匹配能力。通过结合来自支持图像的全局上下文信息以及具备自关联性正则化的注意力感知关联性，CATrans 实现了当前最优性能，在 PASCAL-5i 上 mIoU 提升最高达 +2.8%，在 COCO-20i 上提升最高达 +2.1%，模型主干为 ResNet-101。

ABSTRACT

Few-shot segmentation (FSS) aims to segment novel categories given scarce annotated support images. The crux of FSS is how to aggregate dense correlations between support and query images for query segmentation while being robust to the large variations in appearance and context. To this end, previous Transformer-based methods explore global consensus either on context similarity or affinity map between support-query pairs. In this work, we effectively integrate the context and affinity information via the proposed novel Context and Affinity Transformer (CATrans) in a hierarchical architecture. Specifically, the Relation-guided Context Transformer (RCT) propagates context information from support to query images conditioned on more informative support features. Based on the observation that a huge feature distinction between support and query pairs brings barriers for context knowledge transfer, the Relation-guided Affinity Transformer (RAT) measures attention-aware affinity as auxiliary information for FSS, in which the self-affinity is responsible for more reliable cross-affinity. We conduct experiments to demonstrate the effectiveness of the proposed model, outperforming the state-of-the-art methods.

研究动机与目标

• 为解决少样本分割（FSS）中类别内显著的外观与几何变化问题，通过提升支持图像与查询图像之间的特征匹配能力。
• 克服先前基于 Transformer 的 FSS 方法仅依赖上下文或关联性的局限，通过联合建模两者实现更鲁棒的表征学习。
• 通过关系引导上下文 Transformer（RCT）增强从支持图像到查询图像的上下文迁移，利用判别性支持特征提升表征能力。
• 通过引入自关联性作为辅助信号，改进跨关联性估计，降低像素级对应关系中的噪声。
• 设计分层架构，融合多尺度上下文与关联性特征图，以提升分割精度。

提出的方法

• 关系引导上下文 Transformer（RCT）利用高层支持特征作为条件，通过 Transformer 模块将语义上下文从支持图像传播至查询图像，提升在外观变化下的特征对齐能力。
• 关系引导关联性 Transformer（RAT）计算支持与查询特征之间的注意力感知跨关联性，同时利用自关联性图作为正则化项，抑制噪声相关性。
• CATrans 在分层架构中集成 RCT 与 RAT，通过堆叠多层级相关性图，捕捉特征层级中的局部与全局关系。
• 将高分辨率查询特征与低分辨率相关性图拼接，以指导解码器，提升分割的空间精度。
• 模型采用双分支特征编码器（如 ResNet 或 Swin-T），并在 RCT 与 RAT 中共享注意力机制，以保持参数效率。
• 框架采用端到端训练，结合交叉熵损失与 Dice 损失，优化在给定少样本支持掩码下对查询图像进行像素级分割。

实验结果

研究问题

• RQ1 如何在基于 Transformer 的架构中有效结合上下文与关联性信息，以提升在大范围外观变化下的少样本分割性能？
• RQ2 自关联性图是否能提升支持-查询匹配中跨关联性估计的可靠性？
• RQ3 与单尺度或非分层设计相比，多尺度上下文与关联性表征的分层融合是否能带来更优的分割性能？
• RQ4 通过关系引导上下文传播增强支持特征表征，能在多大程度上提升少样本设置下的泛化能力？
• RQ5 所提出的 RCT 与 RAT 模块在鲁棒性与准确性方面，相较于现有基于注意力的匹配机制表现如何？

主要发现

• 在使用 Swin-T 作为主干网络的 1-shot PASCAL-5i 基准上，CATrans 达到 67.6% 的 mIoU，较之前 SOTA 方法 DGPNet 提升 +2.8%。
• 在 COCO-20i 上，CATrans 在 5-shot 设置下达到 60.1% 的 mIoU，较 DGPNet 提升 +2.0%。
• 消融实验表明，同时使用 RCT 与 RAT 模块相比基线模型 mIoU 提升 +5%，其中仅使用 RCT 模块在 1-shot PASCAL-5i 上性能最高提升 +7.7%。
• 多尺度特征融合在 PASCAL-5i 上提升 mIoU 1.4%，在 COCO-20i 上提升 1.8%，证明高分辨率引导在解码器中的有效性。
• 该模型在不同主干架构上均保持强性能，使用 ResNet-50 与 ResNet-101 时均表现出一致增益，表明对模型容量具有鲁棒性。
• 定性结果表明，RAT 有效减少了由形状与颜色相似性引发的误报，而 RCT 在存在显著外观变化的复杂场景中提升了上下文感知的分割能力。