[论文解读] Deep Metric Transfer for Label Propagation with Limited Annotated Data

斌 刘, Zhirong Wu+2 more|arXiv (Cornell University)|Dec 20, 2018

Domain Adaptation and Few-Shot Learning参考文献 46被引用 12

一句话总结

本文提出了一种深度度量迁移框架，通过利用在相关源域上预训练的相似度度量，增强了少样本学习中的标签传播。通过将该度量迁移到目标域，从少量标注样本向大规模未标注数据集传播标签，该方法在半监督学习、迁移学习和少样本识别任务中显著提升了性能，在仅使用每类5–10个标签的CIFAR-10数据集上实现了高达20%的绝对性能提升。

ABSTRACT

We study object recognition under the constraint that each object class is only represented by very few observations. Semi-supervised learning, transfer learning, and few-shot recognition all concern with achieving fast generalization with few labeled data. In this paper, we propose a generic framework that utilizes unlabeled data to aid generalization for all three tasks. Our approach is to create much more training data through label propagation from the few labeled examples to a vast collection of unannotated images. The main contribution of the paper is that we show such a label propagation scheme can be highly effective when the similarity metric used for propagation is transferred from other related domains. We test various combinations of supervised and unsupervised metric learning methods with various label propagation algorithms. We find that our framework is very generic without being sensitive to any specific techniques. By taking advantage of unlabeled data in this way, we achieve significant improvements on all three tasks.

研究动机与目标

• 解决在标注数据极度有限的情况下物体识别的挑战，此时标准监督学习因过拟合而失效。
• 克服现有方法（如伪标签法和元学习）的局限性，这些方法在初始模型因标注数据稀缺而表现不佳时难以奏效。
• 开发一种通用且鲁棒的框架，适用于半监督学习、迁移学习和少样本识别任务。
• 证明从源域迁移相似度度量可实现对大规模未标注数据集的有效且可靠的标签传播。
• 探究目标域中的未标注数据是否比源域中的标注数据对少样本学习更具价值。

提出的方法

• 在源域上使用监督学习或无监督（自监督）学习预训练一个深度度量，以捕捉可泛化的特征相似度。
• 利用预训练的度量将目标域中少量标注样本的标签传播到大规模未标注图像集。
• 应用基于谱聚类的标签传播方法，在未标注数据集上生成伪标签，使用迁移后的度量作为相似度度量。
• 在由原始标注样本和传播得到的伪标签组成的扩展训练集上微调标准监督分类器。
• 优化谱嵌入过程中的超参数，如特征向量数量（η）和温度（σ），以实现稳健性能。
• 在三种不同设置下评估该框架：CIFAR-10和ImageNet上的半监督学习、从ImageNet到CIFAR-10的迁移学习，以及mini-ImageNet上的少样本识别。

实验结果

研究问题

• RQ1 从源域迁移预训练度量是否能显著提升少样本学习场景下的标签传播性能？
• RQ2 当仅有少量标注样本时，度量迁移与传统伪标签法或元学习相比表现如何？
• RQ3 在少样本识别中，目标域的未标注数据是否比源域的标注数据更有用？
• RQ4 在少样本任务的标签传播中，无监督度量预训练是否优于有监督度量学习？
• RQ5 标签传播框架的性能对谱聚类中特征向量数量和温度等超参数的敏感性如何？

主要发现

• 所提出的度量迁移框架在仅每类5–10个标注样本的CIFAR-10半监督学习设置下，相比最先进方法实现了20%的绝对性能提升。
• 在从ImageNet到CIFAR-10的迁移学习中，该方法相比基线微调方法性能提升了10%。
• 在mini-ImageNet上的少样本识别任务中，仅使用单样本标注，该方法相比现有基线实现了6%的性能提升。
• 出人意料的是，在1-shot识别中，通过实例判别进行的无监督度量预训练比有监督度量学习高出0.5%；在5-shot识别中高出2%。
• 该框架在不同度量学习与标签传播技术组合下均表现出鲁棒性，展现出高度通用性，且对特定组件不敏感。
• 消融实验确认，谱聚类中的特征向量数量（η）和温度（σ）是关键但可调参数，最优性能出现在η ∈ [30, 200] 和σ ∈ [10, 100] 范围内。