[论文解读] Data-Driven Volumetric Image Generation from Surface Structures using a Patient-Specific Deep Leaning Model

Shaoyan Pan, Chih‐Wei Chang+6 more|PubMed|Apr 28, 2023

Medical Imaging Techniques and Applications参考文献 21被引用 4

一句话总结

本研究提出一种患者特异性深度学习模型，通过生成对抗网络结合分层特征学习，从零剂量表面扫描生成3D体素CT图像。该方法生成的合成CT图像保真度高，平均绝对误差为26.9 ± 4.1 Hounsfield单位，峰值信噪比为39.1 ± 1.0 dB，结构相似性指数为0.965 ± 0.011，可实现无辐射、实时的放射治疗图像引导。

ABSTRACT

The advent of computed tomography significantly improves patients' health regarding diagnosis, prognosis, and treatment planning and verification. However, tomographic imaging escalates concomitant radiation doses to patients, inducing potential secondary cancer by 4%. We demonstrate the feasibility of a data-driven approach to synthesize volumetric images using patients' surface images, which can be obtained from a zero-dose surface imaging system. This study includes 500 computed tomography (CT) image sets from 50 patients. Compared to the ground truth CT, the synthetic images result in the evaluation metric values of 26.9 ± 4.1 Hounsfield units, 39.1 ± 1.0 dB, and 0.965 ± 0.011 regarding the mean absolute error, peak signal-to-noise ratio, and structural similarity index measure. This approach provides a data integration solution that can potentially enable real-time imaging, which is free of radiation-induced risk and could be applied to image-guided medical procedures.

研究动机与目标

• 开发一种数据驱动的方法，从非电离表面图像生成3D体素CT图像，以减少患者辐射暴露。
• 解决从稀疏、低维表面数据中生成详细解剖结构的挑战，且无需使用先验解剖信息。
• 实现实时、无辐射的放射治疗图像引导，尤其适用于FLASH和影像引导治疗。
• 将患者特异性表面几何结构与深度学习相结合，通过学习到的特征相关性推断隐藏的体素解剖结构。
• 以临床CT作为真实值验证模型性能，并通过标准图像质量指标评估保真度。

提出的方法

• 采用具有分层架构的生成对抗网络（GAN），将3D表面图像映射为3D体素CT图像。
• 重建网络从表面图像中提取特征图，并将其转换为体素合成的张量表示。
• 微分网络经过训练，以匹配临床获取CT扫描的灰度分布、噪声水平和对比度分辨率。
• 提取表面曲率特征并用作输入模态，曲率大小被证明可提升模型泛化能力并降低不确定性。
• 在50名患者的500对CT-表面图像对上端到端训练模型，利用患者特异性解剖先验信息以增强重建保真度。
• 使用t-SNE和聚类分析评估不同患者群体间生成图像的一致性和分布特性。

实验结果

研究问题

• RQ1 深度学习模型能否在不使用任何先验解剖信息的情况下，准确从3D表面扫描重建3D体素CT图像？
• RQ2 表面曲率如何影响从表面到体素图像生成过程的性能与不确定性？
• RQ3 仅基于表面几何结构，数据驱动的患者特异性模型在多大程度上能复现临床获取CT扫描的图像质量？
• RQ4 该方法能否实现实时、无辐射的放射治疗图像引导，尤其适用于高精度治疗如FLASH？
• RQ5 将患者特异性表面数据整合到模型中，如何提升体素图像合成的泛化能力和鲁棒性？

主要发现

• 与真实CT相比，合成CT图像的平均绝对误差（MAE）为26.9 ± 4.1 Hounsfield单位。
• 合成图像的峰值信噪比（PSNR）为39.1 ± 1.0 dB，表明图像质量高且保真度好。
• 结构相似性指数测量（SSIM）达到0.965 ± 0.011，表明结构细节得到良好保留。
• 表面曲率变化较大的患者表现出更低的模型不确定性，表明学习与泛化能力得到提升。
• 该方法实现了无辐射、实时的体素图像生成，为放射治疗中连续图像引导提供了潜在解决方案。
• 微分网络成功保留了临床CT的噪声水平和对比度分辨率，提升了图像真实感与诊断实用性。