[论文解读] Differentiable Forward Projector for X-ray Computed Tomography

Hyojin Kim, Kyle Champley|arXiv (Cornell University)|Jul 11, 2023

Medical Imaging Techniques and Applications被引用 5

一句话总结

本文介绍了 LEAP，一个用于X射线计算机断层扫描（XCT）的开源、可微分正向与反向投影库，支持端到端深度学习流程，且GPU内存占用极低。该库采用高精度的可分离轮廓投影模型，支持平行束、锥形束及任意源-探测器几何结构，在有限角度和稀疏视角CT重建中实现了高性能与数据一致性，显著提升了PSNR和SSIM指标。

ABSTRACT

Data-driven deep learning has been successfully applied to various computed tomographic reconstruction problems. The deep inference models may outperform existing analytical and iterative algorithms, especially in ill-posed CT reconstruction. However, those methods often predict images that do not agree with the measured projection data. This paper presents an accurate differentiable forward and back projection software library to ensure the consistency between the predicted images and the original measurements. The software library efficiently supports various projection geometry types while minimizing the GPU memory footprint requirement, which facilitates seamless integration with existing deep learning training and inference pipelines. The proposed software is available as open source: https://github.com/LLNL/LEAP.

研究动机与目标

• 解决基于深度学习的CT重建中缺乏高效、可微分正向投影工具的问题，确保与实测投影数据的一致性。
• 降低端到端训练与推理流程中的GPU内存占用，尤其在有限角度或少量视角CT等病态问题中。
• 在一个可扩展的软件库中支持多种3D CT几何结构——平行束、锥形束以及任意源-探测器配置。
• 实现与基于PyTorch的深度学习框架的无缝集成，支持训练与推理，包括数据一致性损失和原始图谱补全工作流。
• 提供一种高精度、开源的替代方案，替代依赖预计算矩阵或特定几何结构神经网络的现有方法。

提出的方法

• 该库基于可分离轮廓（SF）投影模型实现可微分的正向与反向投影，能够高效且精确地计算X射线投影。
• 支持三种主要几何结构：平行束、锥形束，以及用户自定义的源-探测器对，支持任意位置与方向。
• 基于PyTorch实现，采用张量运算，可原生集成至深度学习流程并支持自动微分。
• 通过实时计算投影系数而非存储大型稀疏系统矩阵，最大限度减少GPU内存使用。
• 通过正向投影预测体积并将其与实测原始图谱进行比较，实现端到端训练中的数据一致性损失。
• 反向投影功能支持迭代优化与原始图谱补全，显著提升病态重建场景下的图像质量。

Figure 1: Overview of the proposed differentiable CT projector software architecture.

实验结果

研究问题

• RQ1 能否以极低的GPU内存占用高效实现可微分正向投影器，以支持CT重建中的端到端深度学习？
• RQ2 所提出的基于可分离轮廓的投影器在不同CT几何结构下的性能与精度，相较于现有方法表现如何？
• RQ3 通过可微分投影实现的数据一致性，在有限角度与稀疏视角CT重建中，能在多大程度上提升图像质量？
• RQ4 该软件库能否用于构建无需外部重建工具的无缝、一体化原始图谱补全与迭代优化工作流？
• RQ5 该方法在复杂或任意扫描器几何结构下的高分辨率3D CT重建中，是否具备可扩展性与实用性？

主要发现

• 与LTT软件工具相比，所提出的LEAP库在正向投影速度上实现了2.5至4倍的加速，且内存占用显著降低。
• 在有限角度CT实验中，采用LEAP的数据一致性步骤将平均PSNR从35.486 dB提升至36.350 dB，SSIM从0.905提升至0.911。
• 该库在不同图像尺寸与投影数量下均表现出一致性能，正向投影时间分别为512³/180平行束配置1.5秒，1024³/720锥形束配置11.1秒。
• LEAP的内存占用极低——仅需存储一个32位浮点数格式的体积与投影数据副本，达到此类操作的理论最小内存需求。
• 可微分投影器成功集成至PyTorch工作流，支持基于数据一致性损失的训练与支持迭代优化的推理。
• 该方法在不同体素与探测器尺寸下保持了数值精度，确保重建图像中正确的缩放与物理一致性。

Figure 2: Model training and inference with our CT Projectors