[论文解读] Deep Sinogram Completion with Image Prior for Metal Artifact Reduction in CT Images

Lequan Yu, Zhicheng Zhang+2 more|arXiv (Cornell University)|Sep 16, 2020

Advanced X-ray and CT Imaging参考文献 39被引用 4

一句话总结

本文提出了一种深度学习框架，通过在图像域和原始投影图域中联合学习，以减少CT扫描中的金属伪影。通过端到端地联合训练先验图像生成器（PriorNet）和原始投影图补全网络（SinoNet），并结合残差学习与可微分前向投影，该方法在结构保持方面表现更优，且相比最先进方法能显著减少条状伪影。

ABSTRACT

Computed tomography (CT) has been widely used for medical diagnosis, assessment, and therapy planning and guidance. In reality, CT images may be affected adversely in the presence of metallic objects, which could lead to severe metal artifacts and influence clinical diagnosis or dose calculation in radiation therapy. In this paper, we propose a generalizable framework for metal artifact reduction (MAR) by simultaneously leveraging the advantages of image domain and sinogram domain-based MAR techniques. We formulate our framework as a sinogram completion problem and train a neural network (SinoNet) to restore the metal-affected projections. To improve the continuity of the completed projections at the boundary of metal trace and thus alleviate new artifacts in the reconstructed CT images, we train another neural network (PriorNet) to generate a good prior image to guide sinogram learning, and further design a novel residual sinogram learning strategy to effectively utilize the prior image information for better sinogram completion. The two networks are jointly trained in an end-to-end fashion with a differentiable forward projection (FP) operation so that the prior image generation and deep sinogram completion procedures can benefit from each other. Finally, the artifact-reduced CT images are reconstructed using the filtered backward projection (FBP) from the completed sinogram. Extensive experiments on simulated and real artifacts data demonstrate that our method produces superior artifact-reduced results while preserving the anatomical structures and outperforms other MAR methods.

研究动机与目标

• 为解决CT成像中严重金属伪影导致诊断准确性与治疗计划质量下降的问题。
• 通过整合深度学习与物理建模，克服传统原始投影图插值与基于先验图像方法的局限性。
• 开发一种可泛化的、端到端可训练的框架，联合优化先验图像生成与原始投影图补全，以提升伪影减少效果。
• 通过利用残差学习与可微分前向投影，保留解剖结构并减少新伪影的产生。

提出的方法

• 该框架采用两个深度神经网络：PriorNet从受金属影响的CT扫描中生成先验图像，SinoNet则利用先验图像作为指导完成受损原始投影图的补全。
• 设计了一种新颖的残差原始投影图学习策略，通过学习受损原始投影图与真实原始投影图之间的差异，对金属影响区域内的投影进行精细化修正。
• 整个框架通过可微分前向投影操作实现端到端训练，使PriorNet与SinoNet能够相互优化。
• 利用先验图像的前向投影作为缺失数据的替代，执行原始投影图补全，从而提升连续性并减少边界伪影。
• 最终通过滤波反投影（FBP）从补全后的原始投影图重建出伪影减少的CT图像，保持了解剖结构的保真度。
• 训练数据通过在临床CT扫描上叠加合成金属掩膜并进行前向投影生成的模拟金属伪影数据完成。

实验结果

研究问题

• RQ1 与单域方法相比，图像域与原始投影图域中的联合学习是否能提升金属伪影减少的性能？
• RQ2 残差学习策略在金属影响区域内的原始投影图修正中效果如何？
• RQ3 使用可微分前向投影的端到端训练是否能增强先验图像生成与原始投影图补全之间的协同效应？
• RQ4 先验图像质量在多大程度上影响原始投影图补全的准确性与最终图像重建质量？
• RQ5 在模拟数据上训练的框架是否能泛化到具有真实金属伪影的临床CT扫描中？

主要发现

• 所提方法在定性与定量评估中均优于现有最先进MAR方法，生成的图像更清晰，条状伪影更少，且解剖结构保持更佳。
• SinoNet中采用的残差学习显著提升了原始投影图补全的准确性，尤其在靠近金属痕迹的高频区域表现突出。
• 结合可微分前向投影的联合训练使PriorNet与SinoNet能够相互促进，实现更准确、更一致的原始投影图预测。
• 通过补全原始投影图重建的FBP图像保持了完整的解剖细节，避免了纯图像域深度学习方法中常见的分辨率损失。
• 在模拟数据与真实类比数据上的大量实验表明，尽管训练数据为合成数据，该方法在临床应用中仍展现出强大潜力。
• 该框架对金属掩膜分割不准确具有鲁棒性，表明其在真实临床工作流程中具备实际可行性。