[论文解读] Self-training for Few-shot Transfer Across Extreme Task Differences

Cheng Perng Phoo, Bharath Hariharan|arXiv (Cornell University)|Oct 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 17

一句话总结

本文提出 STARTUP，一种自训练方法，通过在无标签目标数据上微调预训练 ImageNet 表征，将 ImageNet 表征适应到极端目标领域（如 X 射线、卫星图像）。通过将预训练教师模型的类别分组行为蒸馏到学生表征中，该方法在 BSCD-FSL 基准上将少样本迁移性能平均提升 2.9 个百分点，优于标准迁移学习和自监督学习方法。

ABSTRACT

Most few-shot learning techniques are pre-trained on a large, labeled "base dataset". In problem domains where such large labeled datasets are not available for pre-training (e.g., X-ray, satellite images), one must resort to pre-training in a different "source" problem domain (e.g., ImageNet), which can be very different from the desired target task. Traditional few-shot and transfer learning techniques fail in the presence of such extreme differences between the source and target tasks. In this paper, we present a simple and effective solution to tackle this extreme domain gap: self-training a source domain representation on unlabeled data from the target domain. We show that this improves one-shot performance on the target domain by 2.9 points on average on the challenging BSCD-FSL benchmark consisting of datasets from multiple domains. Our code is available at https://github.com/cpphoo/STARTUP.

研究动机与目标

• 解决少样本学习与迁移学习方法在从源域（如 ImageNet）迁移到高度不同的目标域（如医学影像或卫星图像）时失效的问题。
• 克服自监督学习的局限性，即在小规模无标签数据集上表现不佳，原因在于缺乏来自预训练模型的归纳偏置。
• 开发一种方法，利用无标签目标数据适应预训练表征，同时保留源域中的有用归纳偏置。
• 在跨领域少样本学习中实现一致的性能提升，尤其是在低资源、高领域差距场景下。

提出的方法

• 在源域上训练一个预训练的 ImageNet 分类器（即“教师”），并将其应用于无标签目标域数据，基于学习到的相似性分组生成伪标签。
• 利用这些伪标签训练学生网络，使其学习在目标域上重现教师模型诱导的分组结构。
• 在训练过程中对学生网络应用对比自监督（SimCLR），以提升特征判别能力，同时保留教师模型的分组结构。
• 使用预训练的 ImageNet 权重初始化学生网络，以保留有用的归纳偏置，并通过伪标签目标数据和自监督对比损失进行微调。
• 使用 t-SNE 可视化验证，学生表征在训练后更具判别性。
• 开展消融实验，评估无标签数据量、初始化策略以及替代自监督方法（如旋转）对性能的影响。

实验结果

研究问题

• RQ1 当源域与目标域差异极大时，是否可以通过在无标签目标数据上进行自训练来提升少样本迁移性能？
• RQ2 预训练分类器在目标域上诱导的分组结构是否包含对表征学习有用的归纳偏置？
• RQ3 学生网络是否能够被训练以重现教师模型的分组行为，同时适应目标域的数据分布？
• RQ4 在极端领域差距场景下，STARTUP 与标准迁移学习、自监督学习及其他少样本基线方法相比表现如何？
• RQ5 当领域差距较小时（如在 ImageNet 分布内），STARTUP 的优势是否依然存在？

主要发现

• 在包含卫星图像和医学影像等高度不同的领域的 BSCD-FSL 基准上，STARTUP 将少样本分类准确率平均提升 2.9 个百分点。
• 在 BSCD-FSL 基准上，STARTUP 一致优于标准 ImageNet 迁移学习和最先进的自监督学习方法。
• 在较小领域差距设置下（如 miniImageNet 和 tieredImageNet），通过合理初始化的 STARTUP 可超越标准迁移学习，尤其在标注数据稀缺时表现更优。
• t-SNE 可视化显示，STARTUP 训练后类别分离更清晰，表明特征判别能力得到提升。
• 消融实验表明，随着无标签数据量增加，性能持续提升，且使用 SimCLR 进行自监督比基于旋转的自监督更有效。
• 在低数据场景下，使用教师模型权重初始化学生网络具有优势；而当拥有更多无标签数据时，从零开始训练表现更佳。