[论文解读] 2.5D Deep Learning for CT Image Reconstruction using a Multi-GPU implementation

Amirkoushyar Ziabari, Dong Hye Ye+4 more|arXiv (Cornell University)|Dec 20, 2018

Medical Imaging Techniques and Applications参考文献 12被引用 6

一句话总结

本文提出深度学习模型基础迭代重建（DL-MBIR），一种2.5D残差卷积神经网络，可在显著降低计算成本的前提下近似实现高质量的CT扫描模型基础迭代重建（MBIR）。该方法基于多GPU TensorFlow实现，在FBP与MBIR残差上进行训练，2.5D变体在保持2D级别推理速度的同时，图像质量几乎与3D DL-MBIR相当，为临床CT重建提供了保真度与效率的实用平衡。

ABSTRACT

While Model Based Iterative Reconstruction (MBIR) of CT scans has been shown to have better image quality than Filtered Back Projection (FBP), its use has been limited by its high computational cost. More recently, deep convolutional neural networks (CNN) have shown great promise in both denoising and reconstruction applications. In this research, we propose a fast reconstruction algorithm, which we call Deep Learning MBIR (DL-MBIR), for approximating MBIR using a deep residual neural network. The DL-MBIR method is trained to produce reconstructions that approximate true MBIR images using a 16 layer residual convolutional neural network implemented on multiple GPUs using Google Tensorflow. In addition, we propose 2D, 2.5D and 3D variations on the DL-MBIR method and show that the 2.5D method achieves similar quality to the fully 3D method, but with reduced computational cost.

研究动机与目标

• 为解决临床CT中模型基础迭代重建（MBIR）的高计算成本问题，尽管其图像质量更优，但该问题限制了其广泛应用。
• 开发一种基于深度学习的MBIR替代方法，实现在不牺牲图像质量的前提下快速、高保真度的重建。
• 探索并比较2D、2.5D和3D残差CNN的实现方式，以识别全3D处理的计算高效替代方案。
• 展示在临床CT数据集上，大规模DL-MBIR的多GPU训练与推理的可行性。

提出的方法

• DL-MBIR框架采用一个16层残差卷积神经网络，用于预测FBP与MBIR重建结果之间的残差差异。
• 网络通过均方误差损失函数端到端训练，以最小化预测残差与真实MBIR残差之间的差异。
• 2.5D实现方式通过邻近切片的上下文深度信息处理2D切片，使用2D卷积但整合z方向上下文信息。
• 多GPU训练通过TensorFlow中的数据并行实现，梯度在CPU上聚合以同步各GPU的更新。
• 2.5D方法使用2D卷积核，但通过聚合多个轴向切片的信息，模拟3D平面内与跨平面的依赖关系。
• 最终重建结果通过将预测残差加回原始FBP图像获得，从而得到对MBIR的高质量近似。

实验结果

研究问题

• RQ1 仅使用FBP与MBIR图像对作为监督信号，能否有效训练深度残差CNN以近似MBIR重建？
• RQ2 通过2.5D处理引入3D结构信息后，与纯2D或全3D方法相比，重建质量有何变化？
• RQ3 2.5D DL-MBIR方法是否在保持接近2D处理的计算效率的同时，实现与3D DL-MBIR相当的图像质量？
• RQ4 多GPU实现对大规模CT重建网络的训练速度与可扩展性有何影响？
• RQ5 所提出的DL-MBIR框架能否在保持诊断图像质量的前提下，显著缩短临床CT扫描的重建时间？

主要发现

• 在案例研究1的第90切片中，2.5D DL-MBIR的PSNR达到69.93 dB，优于2D DL-MBIR（68.3 dB），并接近3D DL-MBIR（69.51 dB）。
• 在案例研究2的第150切片中，2.5D DL-MBIR的PSNR达到70.1 dB，超过2D DL-MBIR（69.0 dB），并与3D DL-MBIR（69.7 dB）相当。
• 视觉对比显示，2.5D与3D DL-MBIR能有效减少2D DL-MBIR与FBP重建中常见的条纹伪影和噪声。
• 与MBIR相比，2.5D方法在多个切片上的重建误差比2D DL-MBIR减少30–40%，如差异图像所示。
• 多GPU实现显著提升了训练速度，每轮训练时间从1块GPU减少至4块GPU，使大规模数据集的高效训练成为可能。
• 2.5D方法在图像质量与计算成本之间提供了有利的权衡，是临床部署的有力候选方案。