[论文解读] Generalizability issues with deep learning models in medicine and their potential solutions: illustrated with Cone-Beam Computed Tomography (CBCT) to Computed Tomography (CT) image conversion

Xiao Liang, Dan Nguyen+1 more|arXiv (Cornell University)|Apr 16, 2020

AI in cancer detection参考文献 3被引用 9

一句话总结

本文以CBCT到CT图像转换为案例研究，探讨了深度学习在医学影像中泛化能力的挑战。研究发现，仅在某一扫描仪厂商和解剖部位上训练的模型在其他厂商和部位上表现显著下降；提出三种迁移学习策略——微调、联合训练和仅目标域训练，结果表明在目标数据有限时，微调策略表现最佳，可实现跨不同扫描仪和解剖部位的临床部署。

ABSTRACT

Generalizability is a concern when applying a deep learning (DL) model trained on one dataset to other datasets. Training a universal model that works anywhere, anytime, for anybody is unrealistic. In this work, we demonstrate the generalizability problem, then explore potential solutions based on transfer learning (TL) by using the cone-beam computed tomography (CBCT) to computed tomography (CT) image conversion task as the testbed. Previous works have converted CBCT to CT-like images. However, all of those works studied only one or two anatomical sites and used images from the same vendor's scanners. Here, we investigated how a model trained for one machine and one anatomical site works on other machines and other sites. We trained a model on CBCT images acquired from one vendor's scanners for head and neck cancer patients and applied it to images from another vendor's scanners and for other disease sites. We found that generalizability could be a significant problem for this particular application when applying a trained DL model to datasets from another vendor's scanners. We then explored three practical solutions based on TL to solve this generalization problem: the target model, which is trained on a target domain from scratch; the combined model, which is trained on both source and target domain datasets from scratch; and the adapted model, which fine-tunes the trained source model to a target domain. We found that when there are sufficient data in the target domain, all three models can achieve good performance. When the target dataset is limited, the adapted model works the best, which indicates that using the fine-tuning strategy to adapt the trained model to an unseen target domain dataset is a viable and easy way to implement DL models in the clinic.

研究动机与目标

• 研究在某一CBCT扫描仪厂商和解剖部位上训练的深度学习模型，在应用于其他厂商和疾病部位时的泛化能力。
• 评估不同迁移学习策略在克服扫描仪硬件和解剖区域之间领域偏移方面的性能表现。
• 确定在目标域数据有限的临床环境中部署深度学习模型的最有效方法。
• 为在多样化医学影像环境中部署深度学习模型提供实用且可扩展的解决方案。

提出的方法

• 在某厂商扫描仪获取的头颈部癌患者CBCT图像上训练深度学习模型。
• 将训练好的模型应用于另一厂商扫描仪获取的CBCT图像，以及其它解剖部位（如脊柱、腹部）的数据。
• 探索三种迁移学习策略：在目标域上从零开始训练新模型（目标模型）、在源域和目标域上联合训练（联合模型）、在目标域上微调源模型（适配模型）。
• 采用图像到图像翻译网络（如基于U-Net的架构）实现CBCT到CT的图像转换。
• 使用PSNR、SSIM以及HU值的结构相似性等定量指标评估模型性能。
• 通过消融实验比较在目标域数据量不同的情况下，各方法的泛化性能表现。

实验结果

研究问题

• RQ1 在某一CBCT扫描仪厂商和解剖部位上训练的深度学习模型，在应用于另一厂商和解剖部位的数据时表现如何？
• RQ2 不同迁移学习策略（微调、联合训练、仅目标域训练）在提升模型泛化能力方面的相对表现如何？
• RQ3 目标域数据集的大小如何影响CBCT到CT转换中迁移学习方法的性能？
• RQ4 在小规模目标域数据集上微调预训练模型，能否达到在大规模数据集上从零开始训练的性能水平？

主要发现

• 在某一厂商CBCT数据上训练的模型，在应用于另一厂商扫描仪数据时性能显著下降，凸显了严重的泛化挑战。
• 当目标域数据充足时，三种迁移学习策略（目标模型、联合模型、适配模型）均达到高性能，三者之间无显著差异。
• 在目标域数据有限时，微调（适配）模型的表现优于仅目标域模型和联合模型，展现出更高的数据效率。
• 在小规模目标域数据集上微调源模型，在性能与数据效率之间实现了最佳平衡，是临床部署中最实用的解决方案。
• 本研究证实，由于扫描仪硬件和解剖部位差异导致的领域偏移，会严重损害医学深度学习模型的泛化能力。
• 迁移学习，尤其是微调，是适应新临床环境的可行且高效策略，且仅需极少目标数据。