[论文解读] Effect of large-scale pre-training on full and few-shot transfer learning for natural and medical images.

Mehdi Cherti, Jenia Jitsev|arXiv (Cornell University)|May 31, 2021

COVID-19 diagnosis using AI参考文献 31被引用 6

一句话总结

本研究探讨大规模预训练对自然图像与医学影像中迁移学习的影响，比较了在 ImageNet-21k（自然图像）和大规模胸部X光数据集上预训练的模型。研究发现，当源域与目标域相似时，扩大预训练规模对迁移性能的提升最明显；但当域间差异较大时，这种优势会减弱。令人意外的是，在将 PadChest 数据集作为全样本迁移任务时，大规模的 ImageNet-21k 模型表现略优于在特定医学影像数据上预训练的 X 光模型，表明通用数据可能在无需特定领域预训练数据的情况下，实现高性能的领域自适应。

ABSTRACT

Transfer learning aims to exploit pre-trained models for more efficient follow-up training on wide range of downstream tasks and datasets, enabling successful training also on small data. Recent line of work posits strong benefits for model generalization and transfer when model size, data size, and compute budget are increased for the pre-training. It remains however still largely unclear whether the observed transfer improvement due to increase in scale also holds when source and target data distributions are far apart from each other. In this work we conduct large-scale pre-training on large source datasets of either natural (ImageNet-21k/1k) or medical chest X-Ray images and compare full and few-shot transfer using different target datasets from both natural and medical imaging domains. Our observations provide evidence that while pre-training and transfer on closely related datasets do show clear benefit of increasing model and data size during pre-training, such benefits are not clearly visible when source and target datasets are further apart. These observations hold across both full and few-shot transfer and indicate that scaling laws pointing to improvement of generalization and transfer with increasing model and data size are incomplete and should be revised by taking into account the type and proximity of the source and target data, to correctly predict the effect of model and data scale during pre-training on transfer. Remarkably, in full shot transfer to a large X-Ray chest imaging target (PadChest), the largest model pre-trained on ImageNet-21k slightly outperforms best models pre-trained on large X-Ray chest imaging data. This indicates possibility to obtain high quality models for domain-specific transfer even without access to large domain-specific data, by pre-training instead on comparably very large, generic source data.

研究动机与目标

• 评估扩大预训练（模型规模、数据规模、计算量）是否能提升自然图像与医学影像领域之间的迁移性能。
• 评估当源数据与目标数据分布相距较远时，大规模预训练的优势是否依然成立。
• 比较在自然图像（ImageNet-21k/1k）和医学影像（胸部X光）数据上预训练的模型在全样本与少样本迁移任务中的表现。
• 确定在通用数据上进行大规模预训练，是否能在医学影像任务中超越特定领域的预训练模型。

提出的方法

• 在 ImageNet-21k（自然图像）和大规模胸部X光数据集上，使用逐渐增大的模型进行大规模预训练。
• 在来自自然图像与医学影像领域的多样化下游数据集上，执行全样本与少样本迁移学习。
• 使用标准指标在多个目标数据集上评估性能，比较在通用数据与特定领域数据上预训练的模型表现。
• 在预训练过程中系统性地改变模型规模与数据规模，以隔离规模对迁移性能的影响。
• 采用标准化的训练与评估协议，确保在不同源数据上预训练的模型之间具有公平可比性。

实验结果

研究问题

• RQ1 在多样化的源-目标领域组合中，预训练阶段增加模型规模与数据规模是否能持续提升迁移性能？
• RQ2 当源数据与目标数据分布相距较远时，大规模预训练的优势是否会减弱？
• RQ3 在下游医学影像任务中，是否能在大规模通用数据（如 ImageNet-21k）上预训练的模型，表现优于在特定医学影像数据上预训练的模型？
• RQ4 在自然图像与医学影像领域中，扩大预训练规模时，全样本与少样本迁移性能表现如何比较？
• RQ5 领域接近程度在多大程度上调节了迁移学习中规模定律的有效性？

主要发现

• 当源域与目标域关系密切时（如 ImageNet 与相似的自然图像数据集之间），扩大预训练规模可提升迁移性能。
• 当源域与目标域差异较大时（如自然图像与医学X光之间），大规模预训练的优势并不明显。
• 在将 PadChest X光数据集作为全样本迁移任务时，最大规模的 ImageNet-21k 预训练模型表现略优于在大规模胸部X光数据上预训练的最佳模型。
• 少样本迁移结果也显示出类似趋势，表明领域接近程度而非仅规模，决定了迁移的有效性。
• 研究结果表明，当前的迁移学习规模定律尚不完整，必须将数据领域接近程度纳入考量，才能准确预测性能提升。