[论文解读] A Systematic Benchmarking Analysis of Transfer Learning for Medical Image Analysis

Mohammad Reza Hosseinzadeh Taher, Fatemeh Haghighi+3 more|arXiv (Cornell University)|Aug 12, 2021

COVID-19 diagnosis using AI参考文献 38被引用 23

一句话总结

本文提出了一项大规模的医学图像分析迁移学习基准，对比了在7项医学任务中使用监督式ImageNet、细粒度iNat2021以及14种自监督ImageNet模型的表现。结果表明，基于细粒度数据预训练的模型在分割任务中表现更优；自监督模型通常优于监督式模型；在医学图像上持续预训练能有效弥合自然图像与医学图像之间的领域差距。

ABSTRACT

Transfer learning from supervised ImageNet models has been frequently used in medical image analysis. Yet, no large-scale evaluation has been conducted to benchmark the efficacy of newly-developed pre-training techniques for medical image analysis, leaving several important questions unanswered. As the first step in this direction, we conduct a systematic study on the transferability of models pre-trained on iNat2021, the most recent large-scale fine-grained dataset, and 14 top self-supervised ImageNet models on 7 diverse medical tasks in comparison with the supervised ImageNet model. Furthermore, we present a practical approach to bridge the domain gap between natural and medical images by continually (pre-)training supervised ImageNet models on medical images. Our comprehensive evaluation yields new insights: (1) pre-trained models on fine-grained data yield distinctive local representations that are more suitable for medical segmentation tasks, (2) self-supervised ImageNet models learn holistic features more effectively than supervised ImageNet models, and (3) continual pre-training can bridge the domain gap between natural and medical images. We hope that this large-scale open evaluation of transfer learning can direct the future research of deep learning for medical imaging. As open science, all codes and pre-trained models are available on our GitHub page https://github.com/JLiangLab/BenchmarkTransferLearning.

研究动机与目标

• 评估在细粒度iNat2021数据上预训练的模型在医学图像分析任务中的可迁移性。
• 对比14种最先进的自监督ImageNet模型与监督式ImageNet模型在多样化医学影像任务中的性能表现。
• 探究在医学图像上对ImageNet模型进行持续预训练是否能有效缩小自然图像与医学图像之间的领域差距。
• 为未来深度学习在医学影像领域的研究提供全面且开放的基准。
• 为医学图像分类与分割任务中预训练模型的选择与适配提供实用洞见。

提出的方法

• 在7项多样化的医学影像任务（包括CT、X光、眼底镜成像等多种模态的分类与分割任务）上微调了14种自监督ImageNet模型。
• 评估了在iNat2021上预训练的模型，该数据集为大规模细粒度数据集，包含270万张图像，涵盖10,000个物种，用于向医学任务迁移学习。
• 通过在NIH ChestX-Ray14和CheXpert等医学数据集上微调ImageNet模型，实施持续（预）训练，以适应医学领域。
• 使用与各自监督学习方法一致的标准数据增强、投影头和损失函数（如对比损失、NCE损失和Barlow Twins损失）。
• 在所有任务中采用官方数据划分和标准评估指标（如AUC、Dice分数），以确保公平比较。
• 开展消融研究，分析预训练数据粒度与领域适应对下游性能的影响。

实验结果

研究问题

• RQ1 在医学图像分割与分类任务中，与监督式ImageNet预训练相比，基于细粒度iNat2021数据预训练的模型在迁移性能上表现如何？
• RQ2 自监督ImageNet模型是否能在医学图像分析任务中超越监督式ImageNet模型？若能，其适用条件是什么？
• RQ3 在医学图像上对ImageNet模型进行持续预训练，能在多大程度上缩小自然图像与医学图像之间的领域差距？
• RQ4 哪种预训练策略能在多样化医学影像任务与模态中产生最鲁棒且泛化能力最强的表征？
• RQ5 不同预训练方法所学习的局部特征与整体特征在医学图像分析中的相对优势是什么？

主要发现

• 在细粒度iNat2021数据上预训练的模型能够生成具有独特性的局部表征，尤其有利于医学图像分割任务。
• 在所有评估的医学任务中，自监督ImageNet模型在平均性能上持续优于监督式ImageNet基线模型，其中至少三种模型在每一项任务中均表现更优。
• 在医学图像上对监督式ImageNet模型进行持续预训练能显著缩小领域差距，从而提升下游医学分类与分割任务的性能。
• 在粗粒度ImageNet数据上预训练的模型倾向于学习高层级、整体性的特征，更适用于分类任务；而细粒度预训练则增强了对分割任务有益的局部特征学习能力。
• 自监督预训练带来的性能提升表明，从监督学习转向自监督学习可大幅降低医学影像的标注成本，且不以性能为代价。
• 本研究证实，使用医学数据进行领域自适应预训练是提升医学图像分析中迁移学习效果的高效策略。