[论文解读] A New Benchmark for Evaluation of Cross-Domain Few-Shot Learning.

Yunhui Guo, Noel Codella+4 more|arXiv (Cornell University)|Dec 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 19被引用 39

一句话总结

本文提出了BSCD-FSL基准，用于评估跨不同成像模态（如卫星图像、皮肤科图像和放射科图像）的少样本学习性能，表明当前最先进元学习方法在平均准确率上比简单微调低12.8%，且性能与自然图像的相似度密切相关。

ABSTRACT

Recent progress on few-shot learning largely relies on annotated data for meta-learning: base classes sampled from the same domain as the novel classes. However, in many applications, collecting data for meta-learning is infeasible or impossible. This leads to the cross-domain few-shot learning problem, where there is a large shift between base and novel class domains. While investigations of the cross-domain few-shot scenario exist, these works are limited to natural images that still contain a high degree of visual similarity. No work yet exists that examines few-shot learning across different imaging methods seen in real world scenarios, such as aerial and medical imaging. In this paper, we propose the Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL) benchmark, consisting of image data from a diverse assortment of image acquisition methods. This includes natural images, such as crop disease images, but additionally those that present with an increasing dissimilarity to natural images, such as satellite images, dermatology images, and radiology images. Extensive experiments on the proposed benchmark are performed to evaluate state-of-art meta-learning approaches, transfer learning approaches, and newer methods for cross-domain few-shot learning. The results demonstrate that state-of-art meta-learning methods are surprisingly outperformed by earlier meta-learning approaches, and all meta-learning methods underperform in relation to simple fine-tuning by 12.8% average accuracy. Performance gains previously observed with methods specialized for cross-domain few-shot learning vanish in this more challenging benchmark. Finally, accuracy of all methods tend to correlate with dataset similarity to natural images, verifying the value of the benchmark to better represent the diversity of data seen in practice and guiding future research.

研究动机与目标

• 解决少样本学习研究中的空白：当前元学习方法依赖于同一领域内的基础类和新类，这无法反映现实世界中的数据采集约束。
• 研究当基础类和新类来自截然不同的成像领域（如自然图像与医学或航空影像）时，跨域少样本学习所面临的挑战。
• 构建一个涵盖多种图像采集方式的综合性基准，以更好地反映现实世界中的数据多样性，并评估模型在领域分布偏移下的泛化能力。
• 评估现有元学习、迁移学习以及跨域少样本学习方法在极端领域偏移（超出自然图像相似性范围）下的鲁棒性。

提出的方法

• 提出更广泛的跨域少样本学习（BSCD-FSL）基准，包含来自多种成像模态的图像数据集，如作物病害、卫星、皮肤科和放射科图像。
• 设计该基准以逐步增加与自然图像的视觉差异，从而为跨域少样本学习创造更具挑战性的环境。
• 使用标准的少样本学习协议，在BSCD-FSL基准上评估最先进元学习、迁移学习及专用跨域少样本学习方法。
• 采用标准的少样本学习评估指标（包括少样本准确率）在所有领域中比较不同方法在领域偏移下的性能表现。
• 通过测量模型准确率与数据集与自然图像相似度之间的相关性，分析性能趋势。
• 开展广泛的消融实验与对比实验，以评估不同学习范式在极端领域偏移下的有效性。

实验结果

研究问题

• RQ1 当在具有高领域偏移的多样化成像模态基准上进行评估时，最先进元学习方法的表现如何？
• RQ2 基础类与新类所在领域的视觉相似度在多大程度上影响少样本学习模型的性能？
• RQ3 专门针对跨域少样本学习设计的方法，在更具现实性、多样化的基准（存在极端领域偏移）中是否仍能保持其优势？
• RQ4 在跨域少样本学习场景中，简单微调与复杂元学习方法相比表现如何？

主要发现

• 在BSCD-FSL基准上，最先进元学习方法的表现甚至不如早期元学习方法，表明在领域偏移下，近期方法论进步的收益正在递减。
• 所有元学习方法在该基准上的平均准确率均比简单微调低12.8%，凸显了当前元学习范式在真实世界跨域场景中的局限性。
• 以往跨域少样本学习工作中观察到的性能提升，在更丰富、更具挑战性的BSCD-FSL基准（非自然图像领域）上评估时已不复存在。
• 模型准确率与数据集与自然图像的视觉相似度呈强相关性，验证了该基准反映现实世界数据多样性的能力。
• 该基准揭示了当前少样本学习方法在极端领域偏移下极为脆弱，且对自然图像以外的成像模态缺乏鲁棒性。
• 结果表明，亟需开发能够跨截然不同的成像领域泛化的新型学习范式，而非依赖基础类与新类之间的视觉相似性。