[论文解读] Machine learning with limited data

Fupin Yao|arXiv (Cornell University)|Jan 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用 5

一句话总结

本文通过提出两种方法解决数据稀缺下的少样本图像分类问题：通过风格混合增强图像特征，通过空间注意力建模图像块之间的关系。此外，本文引入了一种子域少样本学习新设置，即在目标域存在未标注数据的情况下，提出风格迁移与对比学习方法，显著优于基线方法，尤其在扩大未标注数据时表现更优。

ABSTRACT

Thanks to the availability of powerful computing resources, big data and deep learning algorithms, we have made great progress on computer vision in the last few years. Computer vision systems begin to surpass humans in some tasks, such as object recognition, object detection, face recognition and pose estimation. Lots of computer vision algorithms have been deployed to real world applications and started to improve our life quality. However, big data and labels are not always available. Sometimes we only have very limited labeled data, such as medical images which requires experts to label them. In this paper, we study few shot image classification, in which we only have very few labeled data. Machine learning with little data is a big challenge. To tackle this challenge, we propose two methods and test their effectiveness thoroughly. One method is to augment image features by mixing the style of these images. The second method is applying spatial attention to explore the relations between patches of images. We also find that domain shift is a critical issue in few shot learning when the training domain and testing domain are different. So we propose a more realistic cross-domain few-shot learning with unlabeled data setting, in which some unlabeled data is available in the target domain. We propose two methods in this setting. Our first method transfers the style information of the unlabeled target dataset to the samples in the source dataset and trains a model with stylized images and original images. Our second method proposes a unified framework to fully utilize all the data. Both of our methods surpass the baseline method by a large margin.

研究动机与目标

• 解决在医疗影像等现实场景中，受限于标注数据较少的少样本图像分类挑战。
• 应对少样本学习中训练域与测试域不同的域偏移问题。
• 提出一种具有真实性的跨域少样本学习设置，可访问目标域的未标注数据。
• 开发有效利用标注源数据与未标注目标数据的方法，以提升泛化能力。
• 通过减少对大规模标注数据集的依赖并增强对域偏移的鲁棒性，推动少样本学习向现实世界部署发展。

提出的方法

• 在训练过程中通过将一张图像的风格特征迁移至另一张图像，实现风格混合，以增强输入表征并提升泛化能力。
• 引入空间注意力机制以建模图像块之间的关系，增强低数据场景下的特征学习。
• 提出一种与域无关的风格迁移方法，将目标域风格应用于源域图像，实现域不变特征学习。
• 设计一个统一框架，联合训练标注源数据、经聚类生成伪标签的目标数据，以及未聚类的未标注数据。
• 通过引入记忆库实现对比学习，对齐源域与目标域的特征，同时利用标注与未标注数据。
• 通过迭代聚类与模型重训练，逐步优化伪标签并提升特征质量。

实验结果

研究问题

• RQ1 通过风格混合进行图像特征增强，能在多大程度上提升少样本分类性能？
• RQ2 在数据有限的少样本学习中，空间注意力在多大程度上改善了特征表征？
• RQ3 在跨域设置中，未标注目标域数据是否能显著提升少样本泛化能力？
• RQ4 利用未标注目标域数据进行风格迁移至源域数据，在少样本学习的域适应中效果如何？
• RQ5 在少样本设置中，结合伪标签与未标注数据的对比学习是否能带来更好的域泛化性能？

主要发现

• 所提出的风格混合方法在少样本图像分类基准上达到SOTA性能，显著优于基线方法。
• 空间注意力机制提升了特征判别能力，尤其在从少量样本中捕捉局部与全局上下文方面表现突出。
• 在存在未标注数据的跨域少样本学习设置中，对比学习方法在DomainNet数据集上达到63.16%的平均准确率，较基线提升超过4个百分点。
• 当将未标注目标数据集从2–3k扩大至更大规模时，性能显著提升，clipart、painting与sketch上的准确率分别达到69.78%、60.94%与58.76%。
• 结合未标注数据与对比学习显著增强了对域偏移的鲁棒性，证明了自监督信号在低数据场景下的有效性。
• 该方法优于现有基线方法（如ADDA与基于风格化的方法），证实了在域适应中联合使用标注与未标注数据的价值。