[论文解读] Investigation of domain gap problem in several deep-learning-based CT metal artefact reduction methods

Muge Du, Kaichao Liang+2 more|arXiv (Cornell University)|Nov 25, 2021

Advanced X-ray and CT Imaging参考文献 31被引用 4

一句话总结

本研究通过在模拟和实际的牙科与腹部CT数据集上评估六种最先进的方法——两种图像域监督方法、两种双域监督方法和两种图像域无监督方法——调查了基于深度学习的CT金属伪影去除（MAR）方法中的域差距问题。主要发现是，尽管I-DL-MAR和DudoNet在实际腹部数据上能有效减少伪影，但所有方法在更具挑战性的牙科数据集上表现均不理想，表明域差距问题仍未解决，尤其在牙科CT中更为显著，原因在于伪影模式和金属痕迹特征存在差异。

ABSTRACT

Metal artefacts in CT images may disrupt image quality and interfere with diagnosis. Recently many deep-learning-based CT metal artefact reduction (MAR) methods have been proposed. Current deep MAR methods may be troubled with domain gap problem, where methods trained on simulated data cannot perform well on practical data. In this work, we experimentally investigate two image-domain supervised methods, two dual-domain supervised methods and two image-domain unsupervised methods on a dental dataset and a torso dataset, to explore whether domain gap problem exists or is overcome. We find that I-DL-MAR and DudoNet are effective for practical data of the torso dataset, indicating the domain gap problem is solved. However, none of the investigated methods perform satisfactorily on practical data of the dental dataset. Based on the experimental results, we further analyze the causes of domain gap problem for each method and dataset, which may be beneficial for improving existing methods or designing new ones. The findings suggest that the domain gap problem in deep MAR methods remains to be addressed.

研究动机与目标

• 调查在应用于真实临床数据时，基于深度学习的CT金属伪影去除（MAR）方法是否存在域差距问题。
• 比较图像域监督、双域监督和图像域无监督MAR方法在模拟和实际CT数据集上的性能表现。
• 识别不同MAR方法和数据集中域差距的根本原因，以指导未来方法的设计。
• 评估无监督MAR方法是否能在无需成对真实无伪影数据的情况下有效克服域差距。

提出的方法

• 本研究评估了六种深度MAR方法：两种图像域监督方法（I-DL-MAR和基线模型）、两种双域监督方法（DudoNet和DudoNet++）以及两种图像域无监督方法（CycleGAN-INT和ADN）。
• 实验在两个数据集上进行：一个牙科数据集和一个腹部数据集，每个数据集均包含带有金属植入物的模拟和实际（真实）CT数据。
• 通过定量指标（如PSNR、SSIM）和定性视觉分析，在源域（模拟）和目标域（实际）之间评估性能表现。
• 对于无监督方法，采用基于CycleGAN和ADN的框架，在无需成对数据的情况下学习从伪影影响图像到无伪影图像的图像到图像转换。
• 通过比较模拟与真实数据之间的伪影模式、金属痕迹特征和重建不一致性，分析域差距的成因。
• 结构损失和诊断结构保留率被评估为关键性能指标，尤其在使用原始数据与线性插值输入数据的双域方法中。

实验结果

研究问题

• RQ1 当从模拟数据迁移到真实临床CT数据时，基于深度学习的MAR方法中的域差距问题是否依然存在？
• RQ2 不同的网络架构（图像域与双域）以及训练范式（监督与无监督）如何影响域差距的鲁棒性？
• RQ3 为何某些方法在牙科CT上失败而能在腹部数据上成功？这些情况下的域偏移根本原因是什么？
• RQ4 像CycleGAN-INT和ADN这样的无监督MAR方法是否能在无需成对训练数据的情况下有效消除域差距？
• RQ5 在MAR方法中，哪些特定的图像级和原始投影（sinogram）级特征最可能导致域差距？

主要发现

• I-DL-MAR和DudoNet在实际腹部数据集中表现出最小的域差距，表明即使在模拟数据上进行训练，也能实现有效的泛化。
• 在牙科数据集中，所有监督方法均表现出显著的域差距，尽管在模拟数据上性能优异，但在真实数据上性能明显下降。
• 使用线性插值后的伪影影响数据作为输入可减少监督方法的域差距，但会引入图像重建中的结构损失。
• 在DudoNet++中使用原始伪影影响投影数据作为输入会加剧域差距，尤其由于模拟与真实数据之间金属痕迹模式和原始投影污染的不匹配。
• 无监督方法（CycleGAN-INT和ADN）在两个数据集的模拟和真实数据上均未能达到令人满意的性能，表现出不稳定性和伪影减少效果差。
• 域差距的主要成因被确定为模拟与真实数据之间在伪影影响的原始投影、图像重建以及金属痕迹特征方面的差异，尤其在牙科CT中更为显著。