[论文解读] Generative Mask Pyramid Network for CT/CBCT Metal Artifact Reduction with Joint Projection-Sinogram Correction

Haofu Liao, Wei-An Lin+5 more|arXiv (Cornell University)|Jun 29, 2019

Advanced X-ray and CT Imaging参考文献 12被引用 6

一句话总结

本文提出一种生成式掩码金字塔网络（MPN），结合联合投影-原始图校正，用于CT/CBCT中的金属伪影去除（MAR），通过对抗性学习和上下文感知的图像修复，恢复解剖上一致的结构。该方法在无需合成训练数据的情况下，通过减少次级伪影，实现了更低的RMSE和更高的SSIM，尤其在大型金属植入物上表现优于最先进方法。

ABSTRACT

A conventional approach to computed tomography (CT) or cone beam CT (CBCT) metal artifact reduction is to replace the X-ray projection data within the metal trace with synthesized data. However, existing projection or sinogram completion methods cannot always produce anatomically consistent information to fill the metal trace, and thus, when the metallic implant is large, significant secondary artifacts are often introduced. In this work, we propose to replace metal artifact affected regions with anatomically consistent content through joint projection-sinogram correction as well as adversarial learning. To handle the metallic implants of diverse shapes and large sizes, we also propose a novel mask pyramid network that enforces the mask information across the network's encoding layers and a mask fusion loss that reduces early saturation of adversarial training. Our experimental results show that the proposed projection-sinogram correction designs are effective and our method recovers information from the metal traces better than the state-of-the-art methods.

研究动机与目标

• 为解决CT/CBCT成像中金属伪影的挑战，特别是不完整原始图或投影补全导致的次级伪影。
• 通过将MAR视为图像修复问题，消除训练过程中对合成金属伪影的依赖。
• 通过联合投影-原始图校正与对抗性学习，提升金属影响区域的结构与解剖一致性。
• 通过新颖的掩码金字塔网络与掩码融合损失，增强对多样化金属植入物形状与尺寸的鲁棒性。
• 在无需组织分割的情况下，实现对合成与真实临床数据集的更好泛化与性能表现。

提出的方法

• 该方法采用两阶段框架：首先，基于掩码金字塔网络（MPN）的投影补全模块，利用对抗性学习在金属影响区域生成解剖上合理的替代结构。
• MPN通过编码层间多尺度掩码几何信息提炼，以保留植入物形状与结构上下文。
• 引入掩码融合损失，防止对抗训练中的早期饱和，提升训练稳定性与收敛性。
• 原始图校正模块利用残差预测网络优化投影校正后的原始图，强制实现投影间的一致性。
• 生成器与判别器通过LSGAN损失进行对抗性训练，判别器执行局部区域的真实/虚假分类。
• 模型在真实无金属投影上端到端训练，通过随机应用金属掩码，避免生成合成伪影。

实验结果

研究问题

• RQ1 与单一域校正相比，联合投影-原始图校正是否能提升解剖一致性并减少金属伪影中的次级伪影？
• RQ2 所提出的掩码金字塔网络在多样化金属植入物形状与尺寸下，如何增强特征学习与泛化能力？
• RQ3 结合掩码融合损失的对抗性训练，在原始图补全的质量与稳定性方面提升程度如何？
• RQ4 基于真实无金属投影与随机掩码的训练策略，是否比依赖合成金属伪影的方法具有更好的泛化能力？
• RQ5 与最先进MAR技术相比，该方法在真实临床数据上的表现如何？

主要发现

• 在合成数据上，该方法实现了最低的RMSE（29 HU）与最高的SSIM（0.94），显著优于第二好的方法（CNNMAR，RMSE 41 HU，SSIM 0.92）。
• 对于大尺寸植入物（>1000像素），该方法性能下降极小，而基于分割的方法（如NMAR与CNNMAR）因分割不准确导致性能急剧下降。
• 在临床数据集上，该方法在视觉与定量评估中均优于BHC、NMAR、LI与CNNMAR，产生更优的定性结果，次级伪影更少。
• 联合校正框架在大尺寸植入物上相较第二好的方法将RMSE降低29%，证明了对复杂金属几何形状的鲁棒性。
• 掩码融合损失有效防止对抗训练中的早期饱和，实现更稳定、更高质量的缺失数据生成。
• 与依赖合成伪影的图像域方法相比，该方法在真实临床数据上泛化能力更强，如CNNMAR在合成与临床数据间的表现差距所证实。