[论文解读] RestNet: Boosting Cross-Domain Few-Shot Segmentation with Residual Transformation Network

X. T. Huang, Chuang Zhu+1 more|arXiv (Cornell University)|Aug 25, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 RestNet，一种用于跨域少样本分割的新型残差变换网络，通过在保留关键域内支持-查询特征关系的同时增强域间知识迁移，实现了最先进的性能。通过引入语义增强锚点变换（SEAT）实现无域特征学习，以及通过域内残差增强（IRE）模块保留原始判别性特征，RestNet 在 ISIC、Chest X-ray 和 FSS-1000 数据集上实现了最先进性能，且参数量增加极少。

ABSTRACT

Cross-domain few-shot segmentation (CD-FSS) aims to achieve semantic segmentation in previously unseen domains with a limited number of annotated samples. Although existing CD-FSS models focus on cross-domain feature transformation, relying exclusively on inter-domain knowledge transfer may lead to the loss of critical intra-domain information. To this end, we propose a novel residual transformation network (RestNet) that facilitates knowledge transfer while retaining the intra-domain support-query feature information. Specifically, we propose a Semantic Enhanced Anchor Transform (SEAT) module that maps features to a stable domain-agnostic space using advanced semantics. Additionally, an Intra-domain Residual Enhancement (IRE) module is designed to maintain the intra-domain representation of the original discriminant space in the new space. We also propose a mask prediction strategy based on prototype fusion to help the model gradually learn how to segment. Our RestNet can transfer cross-domain knowledge from both inter-domain and intra-domain without requiring additional fine-tuning. Extensive experiments on ISIC, Chest X-ray, and FSS-1000 show that our RestNet achieves state-of-the-art performance. Our code will be available soon.

研究动机与目标

• 解决现有跨域少样本分割模型在域适应过程中丢失域内特征信息的局限性。
• 在无需目标域微调的情况下，提升域间知识迁移能力。
• 在跨域特征变换过程中保留判别性域内支持-查询匹配关系。
• 开发一种基于原型融合的掩码预测策略，通过原型融合实现渐进式分割学习。
• 在多个跨域少样本分割基准上实现最先进性能，且参数增加极少。

提出的方法

• 提出语义增强锚点变换（SEAT）模块，利用注意力机制提取高级语义特征，并将其投影到无域空间，以实现鲁棒的域间知识迁移。
• 引入域内残差增强（IRE）模块，通过残差连接在转换后的无域空间中保留原始域内特征表示。
• 采用基于原型融合的掩码预测策略，生成粗粒度软查询掩码，并通过迭代方式优化以提升分割精度。
• 在支持与查询特征之间共享统一注意力机制，以减少参数量，同时提升语义特征对齐效果。
• 设计网络以同时实现域间与域内知识迁移，避免依赖目标域微调。
• 在源域数据（如 PASCAL VOC）上端到端训练模型，并直接应用于未见目标域，无需额外适应。

(a) Previous CD-FFS Method [ Lei et al.(2022)Lei, Zhang, He, Chen, Du, and Lu ]

实验结果

研究问题

• RQ1 在跨域少样本分割中，能否在保留关键域内支持-查询特征关系的同时提升域间知识迁移？
• RQ2 残差学习机制如何增强无域特征变换过程中判别性域内特征的保留？
• RQ3 基于原型融合的掩码预测策略是否能实现在未见域中更有效且渐进式的分割学习？
• RQ4 统一注意力机制在 CD-FSS 中在减少参数量的同时，能在多大程度上保持或提升性能？
• RQ5 所提方法能否在 ISIC、Chest X-ray 和 FSS-1000 等多样化基准上实现最先进结果，且无需目标域微调？

主要发现

• RestNet 在 FSS-1000 数据集上实现 1-shot 跨域少样本分割的 mIOU 达 81.53%，优于先前方法。
• 消融实验表明，SEAT 与 IRE 模块均对性能有显著贡献，完整模型（含 MPS）在 FSS-1000 上达到 81.53% mIOU。
• 与非共享注意力相比，统一注意力机制将性能提升 0.34% mIOU（82.03% vs. 81.69%），同时减少参数量。
• 可视化结果表明，RestNet 保留的域内活跃匹配（支持-查询相似度 > 0）显著多于 PATNet，表明其对域内知识的保留更优。
• RestNet 仅引入 2.5812M 额外参数，展现出极高的效率与极小的计算开销。
• 该模型在三大主流 CD-FSS 基准（ISIC、Chest X-ray 和 FSS-1000）上均实现最先进性能，且无需任何目标域微调。

(b) Our Residual Transformation Network (RestNet)