[论文解读] When Semi-Supervised Learning Meets Transfer Learning: Training Strategies, Models and Datasets

Hong-Yu Zhou, Avital Oliver+2 more|arXiv (Cornell University)|Dec 13, 2018

Domain Adaptation and Few-Shot Learning参考文献 39被引用 16

一句话总结

本文研究了将半监督学习（SSL）与迁移学习结合，通过微调预训练模型实现，发现当源域与目标域差异显著时，SSL能带来更大的性能提升——尤其是在医疗影像等低资源、领域分布偏移的设置中。研究结果表明，在足够标注数据下，使用Adam优化器的Pseudo-Label方法可超越完全监督基线，挑战了以往认为SSL在预训练模型上效用有限的假设。

ABSTRACT

Semi-Supervised Learning (SSL) has been proved to be an effective way to leverage both labeled and unlabeled data at the same time. Recent semi-supervised approaches focus on deep neural networks and have achieved promising results on several benchmarks: CIFAR10, CIFAR100 and SVHN. However, most of their experiments are based on models trained from scratch instead of pre-trained models. On the other hand, transfer learning has demonstrated its value when the target domain has limited labeled data. Here comes the intuitive question: is it possible to incorporate SSL when fine-tuning a pre-trained model? We comprehensively study how SSL methods starting from pretrained models perform under varying conditions, including training strategies, architecture choice and datasets. From this study, we obtain several interesting and useful observations. While practitioners have had an intuitive understanding of these observations, we do a comprehensive emperical analysis and demonstrate that: (1) the gains from SSL techniques over a fully-supervised baseline are smaller when trained from a pre-trained model than when trained from random initialization, (2) when the domain of the source data used to train the pre-trained model differs significantly from the domain of the target task, the gains from SSL are significantly higher and (3) some SSL methods are able to advance fully-supervised baselines (like Pseudo-Label). We hope our studies can deepen the understanding of SSL research and facilitate the process of developing more effective SSL methods to utilize pre-trained models. Code is now available at github.

研究动机与目标

• 探究将半监督学习（SSL）应用于从预训练权重微调的模型时，是否能带来额外性能增益，尤其与从随机初始化训练相比。
• 分析训练策略、模型架构以及数据集领域偏移对预训练模型上SSL方法性能的影响。
• 确定在何种条件下SSL能增强迁移学习，特别是当源域与目标域存在显著差异时。
• 评估特定SSL方法（如Pseudo-Label、Mean Teacher和虚拟对抗训练）与预训练模型结合时的有效性。

提出的方法

• 在目标数据集上使用多种SSL方法（包括Pseudo-Label、Mean Teacher和虚拟对抗训练）对微调后的预训练模型（如ResNet-50、Inception-v3、VGG-16）进行训练。
• 应用数据增强技术，如水平翻转和随机平移（F+T），以提升鲁棒性与性能，同时避免使用噪声型增强，因其会降低结果表现。
• 系统性地调整学习率、扰动幅度（ε）和平滑系数（ξ）等超参数，以评估其对SSL性能的影响，特别是在VAT中。
• 利用验证误差和训练损失曲线分析泛化行为，特别评估Pseudo-Label等SSL方法的正则化效果。
• 通过消融实验研究学习率调度和优化设置（如Adam与SGD）的影响，以分离预训练模型中性能差异的关键因素。
• 在标准基准数据集（CIFAR-10、CIFAR-100、SVHN）和领域偏移数据集（Indoor67、CUB200、医学影像）上评估模型，以分析可迁移性及领域差距的影响。

实验结果

研究问题

• RQ1 与完全监督微调相比，将半监督学习（SSL）应用于从预训练权重微调的模型时，是否能带来可测量的性能增益？
• RQ2 源预训练数据集（如ImageNet）与目标数据集之间的领域差距如何影响SSL的有效性？
• RQ3 当标注数据足够充分时，Pseudo-Label等SSL方法是否能在预训练模型上超越完全监督基线？
• RQ4 不同的数据增强方式和训练策略如何影响SSL方法在预训练模型上的性能表现？
• RQ5 在微调预训练模型时，虚拟对抗训练中ε和ξ等超参数在多大程度上影响SSL性能？

主要发现

• 当在相似领域（如ImageNet到CIFAR）上微调预训练模型时，SSL带来的性能增益显著减小，性能提升常完全消失。
• 当源域与目标域存在显著差异时（如在医学影像中），SSL提供最大的性能增益，此时ImageNet预训练的收益有限，而SSL可有效填补性能差距。
• 在标注数据充足时，使用Adam优化器的Pseudo-Label方法始终优于完全监督基线，表明其在以往文献中可能被低估。
• 将水平翻转与随机平移（F+T）结合作为数据增强手段时，SSL性能最佳，而噪声型增强则会降低结果表现。
• 增加训练迭代次数可降低不同SSL方法之间的性能方差，且随着训练周期延长，VAT与Pseudo-Label的准确率趋于收敛至相近水平。
• 学习率是关键超参数：次优选择（如5e-2）会严重损害Inception-v3的性能，而1e-3在各数据集上均能保持一致且优异的结果。