[论文解读] Deep Metric Learning for Few-Shot Image Classification: A Review of Recent Developments

Xiaoxu Li, Xiaochen Yang+2 more|arXiv (Cornell University)|May 17, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文综述了2018至2022年间用于少样本图像分类的深度度量学习方法，将其分为三个阶段：特征嵌入学习、类别表征学习和距离度量学习。文章识别出关键创新点、挑战及未来方向，包括对分布偏移的鲁棒性、从少量样本中提升泛化能力，以及课程训练的局限性。

ABSTRACT

Few-shot image classification is a challenging problem that aims to achieve the human level of recognition based only on a small number of training images. One main solution to few-shot image classification is deep metric learning. These methods, by classifying unseen samples according to their distances to few seen samples in an embedding space learned by powerful deep neural networks, can avoid overfitting to few training images in few-shot image classification and have achieved the state-of-the-art performance. In this paper, we provide an up-to-date review of deep metric learning methods for few-shot image classification from 2018 to 2022 and categorize them into three groups according to three stages of metric learning, namely learning feature embeddings, learning class representations, and learning distance measures. With this taxonomy, we identify the novelties of different methods and problems they face. We conclude this review with a discussion on current challenges and future trends in few-shot image classification.

研究动机与目标

• 提供2018至2022年少样本图像分类中深度度量学习方法的全面、最新综述。
• 将现有方法分类为度量学习的三个不同阶段：特征嵌入学习、类别表征学习和距离度量学习。
• 识别当前方法中的关键创新点、局限性及开放挑战，尤其关注泛化能力、鲁棒性与训练策略。
• 强调少样本学习与深度度量学习领域之间的相互作用，并提出交叉促进的机会。
• 讨论新兴挑战，如域偏移、对抗鲁棒性以及课程训练的低效性，并提出未来研究方向。

提出的方法

• 本文对2018至2022年间深度度量学习用于少样本图像分类的100余项近期研究进行了系统综述。
• 提出一个三阶段分类法：(1) 利用深度神经网络学习判别性特征嵌入，(2) 学习类别表征，如原型或基于图的结构，(3) 在嵌入空间中学习距离或相似度度量。
• 基于模型架构设计、训练范式以及在miniImageNet和tieredImageNet等基准数据集上的性能，对方法进行评估。
• 分析注意力机制、数据增强和多任务学习在提升少样本下特征泛化能力中的作用。
• 讨论图神经网络（GNNs）和分布传播技术，这些方法通过分布特征建模查询样本与所有支持样本之间的全局关系，超越成对比较。
• 批判性评估课程训练策略及其局限性，包括灾难性遗忘以及对低质量课程的敏感性。

实验结果

研究问题

• RQ1 近期的深度度量学习方法如何在少样本图像分类中通过少量标注样本提升泛化能力？
• RQ2 在少样本分类中，特征嵌入学习、类别表征学习和距离度量学习方面有哪些关键的架构与训练创新？
• RQ3 为何课程训练在实践中存在问题，如何改进以避免对低质量或异常值课程的过拟合？
• RQ4 当前少样本度量学习模型在对抗扰动、标签噪声和分布偏移方面的主要脆弱性是什么？
• RQ5 如何使度量学习方法适应跨域少样本分类，特别是在基础域与新域数据显著不同的情况下？

主要发现

• 通过学习判别性嵌入和距离度量，深度度量学习方法在少样本图像分类中实现了最先进性能，有效减少了对少量训练样本的过拟合。
• 基于图的方法，如分布传播图网络（DPGN），通过利用分布特征建模查询样本与所有支持样本之间的全局关系，提升了性能。
• 尽管课程训练是标准方法，但其刚性课程设计和缺乏课程质量筛选机制，可能导致灾难性遗忘和泛化能力差。
• 现有模型对支持集与查询集之间的分布偏移高度敏感，甚至在分布一致的支持图像下，性能也可能下降。
• 对支持或查询图像施加对抗扰动会显著降低分类准确率，表明亟需提升鲁棒性。
• 跨域少样本学习仍是重大挑战，部分研究表明在大域偏移下，简单微调的性能甚至优于元训练模型。