[论文解读] A Survey of Deep Visual Cross-Domain Few-Shot Learning

Wenjian Wang, Lijuan Duan+4 more|arXiv (Cornell University)|Mar 16, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本综述全面概述了深度视觉跨域少样本学习（CDFS），对问题设置、解决方案方法（如图像和特征增强、解耦与微调）以及基准数据集进行了分类。它识别出关键挑战与未来方向，为研究人员在有限标注数据的现实世界域偏移场景中推进CDFS模型提供了统一参考。

ABSTRACT

Few-Shot transfer learning has become a major focus of research as it allows recognition of new classes with limited labeled data. While it is assumed that train and test data have the same data distribution, this is often not the case in real-world applications. This leads to decreased model transfer effects when the new class distribution differs significantly from the learned classes. Research into Cross-Domain Few-Shot (CDFS) has emerged to address this issue, forming a more challenging and realistic setting. In this survey, we provide a detailed taxonomy of CDFS from the problem setting and corresponding solutions view. We summarise the existing CDFS network architectures and discuss the solution ideas for each direction the taxonomy indicates. Furthermore, we introduce various CDFS downstream applications and outline classification, detection, and segmentation benchmarks and corresponding standards for evaluation. We also discuss the challenges of CDFS research and explore potential directions for future investigation. Through this review, we aim to provide comprehensive guidance on CDFS research, enabling researchers to gain insight into the state-of-the-art while allowing them to build upon existing solutions to develop their own CDFS models.

研究动机与目标

• 系统性地对跨域少样本学习（CDFS）的问题设置进行分类，包括单源与多源建模，以及对目标域数据访问程度的差异（如监督、无监督或禁止访问）。
• 基于特征、图像与网络架构，分析并分类现有的CDFS解决方案方法，包括图像增强、特征增强、基于解耦的方法以及微调技术。
• 总结CDFS分类、检测与分割任务的基准数据集与评估标准。
• 识别开放挑战并提出未来研究方向，包括多源元学习、域不变表示、开放集学习以及增量少样本学习。

提出的方法

• 本综述基于问题设置构建CDFS的分类体系，区分单源与多源建模，并进一步根据目标域数据的可访问性（监督、无监督或禁止访问）进行子分类。
• 将解决方案方法归类为四大类：图像增强、特征增强、基于解耦的方法以及结合元学习与分布对齐的微调方法。
• 利用分类、检测与分割任务中的标准化基准，对现有CDFS模型进行评估与比较，强调统一的性能指标。
• 分析域不变特征与语义模态对齐在提升跨域迁移能力方面的作用。
• 整合近期研究的洞见，提出未来研究方向，如将记忆机制与元学习结合，以及利用语义信息实现零样本泛化。
• 通过整理当前的数据集、评估协议与各研究间的性能对比，为研究人员提供结构化参考。

实验结果

研究问题

• RQ1 如何基于源域与目标域数据访问情况，对CDFS模型进行有效分类？
• RQ2 CDFS中的主导解决方案策略是什么？它们在特征学习、数据增强与模型适配方面有何差异？
• RQ3 目前在分类、检测与分割任务中，CDFS的标准化基准与评估协议有哪些？
• RQ4 如何利用域不变特征与语义信息，以提升少样本场景下不同域之间的泛化能力？
• RQ5 哪些未来研究方向（如开放集学习与增量少样本学习）可增强CDFS系统的实用性与可扩展性？

主要发现

• 综述指出，CDFS正日益被视为应对现实世界少样本学习中域偏移问题的关键研究方向，2020至2022年间研究兴趣持续增长。
• 图像与特征增强技术被广泛用于丰富数据分布，提升模型在域偏移下的鲁棒性。
• 基于解耦的方法能有效分离域特定与域不变特征，增强跨域迁移能力。
• 结合元学习与分布对齐的微调方法在对齐源域与目标域特征的同时，有效保留了任务特定知识，表现出优异性能。
• 综述建立了统一的CDFS基准框架，实现了对分类、检测与分割任务的一致性评估。
• 未来研究应聚焦于多源元学习、记忆增强模型，以及开放集与增量少样本学习，以提升系统的可扩展性与现实世界适用性。