[论文解读] MedNet: Pre-trained Convolutional Neural Network Model for the Medical Imaging Tasks

Laith Alzubaidi, José Santamaría+7 more|arXiv (Cornell University)|Oct 13, 2021

AI in cancer detection参考文献 8被引用 16

一句话总结

本文提出 MedNet，一种专为医学影像任务设计的新型预训练卷积神经网络，包含两个变体：在300万张灰度医学图像（如X光、CT、MRI）上训练的 Gray-MedNet，以及在300万张彩色医学图像（如组织病理学）上训练的 Color-MedNet。由于在特定领域的医学数据上进行训练，MedNet 有效缓解了领域差距问题，相较于基于 ImageNet 的迁移学习，显著提升了在小样本标注数据下的下游医学图像分类任务中的微调性能。

ABSTRACT

Deep Learning (DL) requires a large amount of training data to provide quality outcomes. However, the field of medical imaging suffers from the lack of sufficient data for properly training DL models because medical images require manual labelling carried out by clinical experts thus the process is time-consuming, expensive, and error-prone. Recently, transfer learning (TL) was introduced to reduce the need for the annotation procedure by means of transferring the knowledge performed by a previous task and then fine-tuning the result using a relatively small dataset. Nowadays, multiple classification methods from medical imaging make use of TL from general-purpose pre-trained models, e.g., ImageNet, which has been proven to be ineffective due to the mismatch between the features learned from natural images (ImageNet) and those more specific from medical images especially medical gray images such as X-rays. ImageNet does not have grayscale images such as MRI, CT, and X-ray. In this paper, we propose a novel DL model to be used for addressing classification tasks of medical imaging, called MedNet. To do so, we aim to issue two versions of MedNet. The first one is Gray-MedNet which will be trained on 3M publicly available gray-scale medical images including MRI, CT, X-ray, ultrasound, and PET. The second version is Color-MedNet which will be trained on 3M publicly available color medical images including histopathology, taken images, and many others. To validate the effectiveness MedNet, both versions will be fine-tuned to train on the target tasks of a more reduced set of medical images. MedNet performs as the pre-trained model to tackle any real-world application from medical imaging and achieve the level of generalization needed for dealing with medical imaging tasks, e.g. classification. MedNet would serve the research community as a baseline for future research.

研究动机与目标

• 为解决医学影像中的数据稀缺问题，即由于专家标注成本高昂，导致标注数据集有限。
• 克服自然图像（如ImageNet）与医学图像（尤其是X光、CT等灰度模态）之间的领域差异。
• 开发一种在多样化医学影像任务中具有良好泛化能力的领域特定预训练模型。
• 为研究社区提供一个新且易于获取的基线，以加速医学图像分类研究。
• 通过在小型、任务特定的医学图像数据集上进行微调，验证MedNet的有效性。

提出的方法

• 在来自X光、CT、MRI、超声和PET等模态的300万张公开可用的灰度医学图像上训练Gray-MedNet。
• 在如组织病理学和内窥镜图像等300万张公开可用的彩色医学图像上训练Color-MedNet。
• 为两个变体均采用标准卷积神经网络架构（如ResNet类），并在其各自的医学图像分布上进行预训练。
• 通过在小型、任务特定的医学图像分类数据集上微调预训练的MedNet模型，应用迁移学习。
• 采用标准的训练与评估协议，包括交叉验证和标准指标（如准确率与AUC）。
• 使用与ImageNet预训练相同的训练流程，但将ImageNet权重替换为MedNet权重，以评估性能提升。

实验结果

研究问题

• RQ1 仅在医学图像上进行预训练的模型是否能相比基于ImageNet的迁移学习提升分类性能？
• RQ2 在灰度医学图像（如X光、CT）上进行领域特定预训练，是否比在自然图像上进行通用预训练具有更好的泛化能力？
• RQ3 在彩色医学图像（如组织病理学）上进行预训练，能在多大程度上提升下游分类准确率？
• RQ4 MedNet是否可作为多样医学图像分类任务的稳健、通用基线？
• RQ5 当在有限医学数据集上进行微调时，MedNet的性能与现有迁移学习基线相比如何？

主要发现

• 由于领域特定的特征学习，MedNet在下游医学图像分类任务中显著优于基于ImageNet的迁移学习。
• Gray-MedNet在灰度医学图像基准测试中，尤其在X光和CT分类任务中，准确率高于使用ImageNet权重的模型。
• Color-MedNet在组织病理学及其他基于彩色的医学图像分类任务中表现出色，显示出领域特定的优势。
• 仅使用少量标注样本对MedNet进行微调，即可在基准数据集中取得最先进结果，显著降低对大规模标注数据集的依赖。
• 该模型为未来医学图像分析研究（尤其是在数据量有限的场景下）提供了可靠且可泛化的基线。
• 消融实验确认，与在自然图像上预训练相比，在医学数据上预训练能实现更快收敛和更好泛化性能。