[论文解读] DuDoNet: Dual Domain Network for CT Metal Artifact Reduction

Wei-An Lin, Haofu Liao+6 more|arXiv (Cornell University)|Jun 29, 2019

Advanced X-ray and CT Imaging参考文献 33被引用 21

一句话总结

DuDoNet 是一种端到端的双域深度学习框架，可同时增强CT图像并恢复原始投影图（sinogram），以减少植入物引起的金属伪影。通过引入可微分的反投影变换层（RIL）和反投影一致性损失（Radon consistency loss），该方法实现了从图像域到投影图域的梯度反向传播，显著减少了二次伪影，并在伪影抑制与细节恢复方面优于单域方法。

ABSTRACT

Computed tomography (CT) is an imaging modality widely used for medical diagnosis and treatment. CT images are often corrupted by undesirable artifacts when metallic implants are carried by patients, which creates the problem of metal artifact reduction (MAR). Existing methods for reducing the artifacts due to metallic implants are inadequate for two main reasons. First, metal artifacts are structured and non-local so that simple image domain enhancement approaches would not suffice. Second, the MAR approaches which attempt to reduce metal artifacts in the X-ray projection (sinogram) domain inevitably lead to severe secondary artifact due to sinogram inconsistency. To overcome these difficulties, we propose an end-to-end trainable Dual Domain Network (DuDoNet) to simultaneously restore sinogram consistency and enhance CT images. The linkage between the sigogram and image domains is a novel Radon inversion layer that allows the gradients to back-propagate from the image domain to the sinogram domain during training. Extensive experiments show that our method achieves significant improvements over other single domain MAR approaches. To the best of our knowledge, it is the first end-to-end dual-domain network for MAR.

研究动机与目标

• 解决单域方法在减少CT图像中结构化、非局部金属伪影方面的局限性。
• 克服传统投影图域校正方法中因投影图不一致导致的二次伪影问题。
• 通过端到端训练实现图像与投影图修复的联合优化，支持跨域梯度传播。
• 通过在投影图精炼网络中保留多尺度掩码信息，提升对小型金属植入物的处理性能。
• 开发一种可泛化、实用的框架，仅需无植入物的投影图、CT图像和金属掩码进行训练，无需配对的无金属扫描数据。

提出的方法

• 该网络由三部分组成：投影图增强网络（SE-Net）、反投影变换层（RIL）和图像增强网络（IE-Net）。
• SE-Net采用掩码金字塔U-Net架构，以在多尺度上保留精细的金属掩码信息，从而提升对小型植入物的处理性能。
• RIL实现了可微分的滤波反投影，使训练过程中图像域的梯度可反向传播至投影图域。
• 引入反投影一致性（RC）损失，通过利用图像域监督并经由RIL反向传播梯度，对二次伪影进行惩罚。
• IE-Net通过残差学习对最终CT图像进行精细化处理，增强结构细节并减少残留伪影。
• 该框架仅使用无植入物的投影图、对应的CT图像和金属轨迹掩码进行端到端训练，避免了对配对无金属扫描数据的需求。

(a) CT with metal artifacts

实验结果

研究问题

• RQ1 在投影图与图像双域中联合优化，是否能显著优于单域方法，实现更优的金属伪影抑制效果？
• RQ2 如何有效建立从图像域到投影图域的梯度传播路径，以保证物理一致性？
• RQ3 多尺度掩码金字塔架构是否能提升投影图精炼效果，特别是在小型金属植入物场景下？
• RQ4 可微分的反投影变换层在多大程度上支持双域网络的端到端训练？
• RQ5 在无需真实投影图作为监督信号的情况下，反投影一致性损失是否能有效抑制二次伪影？

主要发现

• DuDoNet在真实患者CT扫描中实现了最先进的金属伪影减少性能，显著优于单域方法如CNNMAR和cGAN-CT。
• 该方法有效减少了条纹状和阴影状伪影，同时在真实数据的视觉对比中成功保留了精细的解剖结构细节。
• SE-Net中采用的掩码金字塔U-Net架构显著提升了对小型金属植入物的处理效果，而传统网络往往在该场景下丢失关键结构信息。
• 反投影一致性损失通过利用图像域监督并经由RIL反向传播梯度，成功对二次伪影进行了惩罚。
• DuDoNet无需配对的无金属扫描数据进行训练，仅依赖无植入物的投影图、CT图像和金属掩码，显著提升了实际应用的可行性。
• 在数百例患者扫描上的广泛评估表明，双域方法生成的CT图像在一致性与诊断可靠性方面均优于现有方法。

(b) RDN 3 3 3 The residual dense network (RDN) proposed in [ 32 ] without up-scaling layers. [ 32 ]