[论文解读] A Broader Study of Cross-Domain Few-Shot Learning

Yunhui Guo, Noel Codella+6 more|arXiv (Cornell University)|Dec 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 68被引用 16

一句话总结

本文提出了广义跨域少样本学习（BSCD-FSL）基准，用于评估在多样化成像领域（如卫星、皮肤科和放射科图像）中的少样本学习性能，这些领域与自然图像存在显著差异。令人惊讶的是，最先进元学习方法在平均性能上比简单微调低12.8%，在某些情况下甚至低于随机权重网络，凸显了当前方法在真实世界跨域场景中的局限性。

ABSTRACT

Recent progress on few-shot learning largely relies on annotated data for meta-learning: base classes sampled from the same domain as the novel classes. However, in many applications, collecting data for meta-learning is infeasible or impossible. This leads to the cross-domain few-shot learning problem, where there is a large shift between base and novel class domains. While investigations of the cross-domain few-shot scenario exist, these works are limited to natural images that still contain a high degree of visual similarity. No work yet exists that examines few-shot learning across different imaging methods seen in real world scenarios, such as aerial and medical imaging. In this paper, we propose the Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL) benchmark, consisting of image data from a diverse assortment of image acquisition methods. This includes natural images, such as crop disease images, but additionally those that present with an increasing dissimilarity to natural images, such as satellite images, dermatology images, and radiology images. Extensive experiments on the proposed benchmark are performed to evaluate state-of-art meta-learning approaches, transfer learning approaches, and newer methods for cross-domain few-shot learning. The results demonstrate that state-of-art meta-learning methods are surprisingly outperformed by earlier meta-learning approaches, and all meta-learning methods underperform in relation to simple fine-tuning by 12.8% average accuracy. Performance gains previously observed with methods specialized for cross-domain few-shot learning vanish in this more challenging benchmark. Finally, accuracy of all methods tend to correlate with dataset similarity to natural images, verifying the value of the benchmark to better represent the diversity of data seen in practice and guiding future research.

研究动机与目标

• 填补现有少样本学习基准中缺乏涵盖医学和卫星图像等真实世界成像领域的问题。
• 研究当基础类与新类之间存在显著领域差异时，元学习与迁移学习方法的性能表现。
• 评估专为跨域少样本学习设计的方法在更广泛、更具挑战性的领域中是否具备良好的泛化能力。
• 提供一个标准化基准，以指导未来在多样化图像采集方式下的真实少样本学习场景研究。

提出的方法

• 提出BSCD-FSL基准，包含来自自然图像（如CropDiseases）、卫星（EuroSAT）、皮肤科（ISIC）和放射科（ChestX）的数据集，其与自然图像的差异逐步增大。
• 定义三个正交的领域差异度量标准：视角失真、语义内容和色彩深度。
• 在ImageNet上进行训练作为源域，并在无元学习数据的情况下在目标域上进行评估，确保类别集合互不相交。
• 在所有领域中评估最先进元学习方法、迁移学习方法以及跨域专用方法的性能。
• 实施一种增量多模型选择策略（IMS-f），从五个预训练模型库（ImageNet、CIFAR100、DTD、CUB、Caltech256）中选择最优模型。
• 在每个数据集上使用5-way 50-shot任务共600个任务，以确保评估的稳健性，并通过可视化分析模型选择频率。

实验结果

研究问题

• RQ1 当在高度不同的领域（如医学和卫星图像）上评估时，最先进元学习方法的性能如何？
• RQ2 少样本学习方法的性能在多大程度上与目标数据集与自然图像的相似性相关？
• RQ3 通过微调实现的迁移学习是否能在跨域少样本学习中超越专用元学习方法？
• RQ4 专为跨域少样本学习设计的方法在更广泛、更具挑战性的基准中是否仍保持其优势？
• RQ5 在多样化目标领域中，哪些预训练模型在迁移学习中最有效？模型选择在不同数据集间如何变化？

主要发现

• 在所有数据集和样本水平上，最先进元学习方法的平均性能比简单微调低12.8%。
• 在某些情况下，元学习方法的性能甚至低于随机权重网络，表明在高领域差异下无法有效泛化。
• 所有方法的性能与数据集与自然图像的相似性密切相关，验证了该基准在真实世界多样性方面的代表性。
• 增量多模型选择方法（IMS-f）相比单模型迁移，在EuroSAT上将微调准确率提升最多达3.52%，在ISIC上提升0.69%。
• 在EuroSAT和CropDiseases上，增加更多预训练模型仅带来边际收益，表明ImageNet特征已捕捉到关键表征。
• 模型选择频率在不同数据集间存在显著差异：在CropDiseases上，ImageNet被选中98.6%的次数，而ISIC更倾向于选择在CIFAR100和DTD上预训练的模型。