[论文解读] Medical Imaging Synthesis using Deep Learning and its Clinical Applications: A Review

Tonghe Wang, Yang Lei+4 more|arXiv (Cornell University)|Apr 21, 2020

Medical Imaging Techniques and Applications参考文献 174被引用 14

一句话总结

本综述系统总结了基于深度学习的医学影像合成方法在跨模态与同模态影像中的应用，强调了其在放射肿瘤学和放射学中的临床价值。结果表明，深度学习在生成逼真、高保真度的合成影像方面显著优于传统方法，推理速度快，但在不同解剖结构、扫描仪和数据分布下的鲁棒性仍面临挑战。

ABSTRACT

This paper reviewed the deep learning-based studies for medical imaging synthesis and its clinical application. Specifically, we summarized the recent developments of deep learning-based methods in inter- and intra-modality image synthesis by listing and highlighting the proposed methods, study designs and reported performances with related clinical applications on representative studies. The challenges among the reviewed studies were summarized in the discussion part.

研究动机与目标

• 系统回顾基于深度学习的多模态和多协议医学影像合成方法。
• 评估这些方法在放射肿瘤学和放射学工作流程中的性能与临床适用性。
• 识别模型泛化、数据多样性及临床部署中的关键挑战。
• 从性能和实用性角度，比较深度学习方法与传统基于模型的方法。
• 展望稳健、多中心及临床可部署的影像合成系统未来的研究方向。

提出的方法

• 本研究在PubMed上进行了系统性文献检索，关键词涵盖影像合成、深度学习及医学影像模态（如CT、MRI等），时间截止至2020年2月。
• 对同行评审的期刊文章进行人工筛选，并通过引文追踪识别额外研究，最终纳入111篇文献。
• 根据深度学习架构（如U-Net、CycleGAN）、影像模态对及应用类型（跨模态与同模态合成）对研究进行分类。
• 采用平均绝对误差（MAE）、结构相似性（SSIM）及视觉质量等性能指标对方法进行比较。
• 评估模型在不同扫描仪、患者人群及成像协议下的泛化能力，强调数据代表性的重要性。
• 提出一个框架以评估临床准备度，包括合成影像验证的质量保证程序。

实验结果

研究问题

• RQ1 基于深度学习的影像合成方法在图像质量和临床实用性方面，与传统基于模型的方法相比如何？
• RQ2 哪些关键的深度学习架构和训练策略能够实现高保真度的跨模态与同模态影像合成？
• RQ3 模型性能与鲁棒性在不同患者解剖结构、植入物及扫描仪厂商之间差异有多大？
• RQ4 成对与非成对训练数据如何影响基于深度学习的合成方法的性能与可行性？
• RQ5 将这些模型部署到临床工作流程中的主要挑战是什么，以及如何应对？

主要发现

• 基于深度学习的方法在生成逼真合成影像方面显著优于传统基于模型的方法，表现为更低的平均绝对误差（MAE）和更高的结构相似性（SSIM）。
• 3D U-Net模型在骨骼区域重建方面优于2D模型，但需要更多训练数据和计算资源。
• 非成对生成模型（如CycleGAN）减少了对像素级对应关系的依赖，从而可更广泛地利用大规模数据集进行训练。
• 当输入偏离训练数据分布时，模型性能下降，尤其在存在植入物（如髋关节假体）或极端解剖变异的情况下更为明显。
• 大多数研究使用单中心、单扫描仪的数据集，限制了泛化能力；亟需采用留一中心外策略进行多中心验证。
• 临床部署需要稳健的质量保证程序，以持续监控新患者病例及系统更新后模型的一致性与合成影像质量。