[论文解读] DuDoTrans: Dual-Domain Transformer Provides More Attention for Sinogram Restoration in Sparse-View CT Reconstruction

Ce Wang, Kun Shang+4 more|arXiv (Cornell University)|Nov 21, 2021

Medical Imaging Techniques and Applications参考文献 43被引用 20

一句话总结

DuDoTrans 提出了一种双域 Transformer 架构，通过联合使用基于 Swin Transformer 的移位窗口自注意力机制建模长程依赖关系，结合正弦图恢复 Transformer（SRT）模块对正弦图进行恢复，并通过残差图像重建模块（RIRM）实现 CT 图像重建。该方法在保持参数量更少的同时，显著提升了在不同噪声水平和数据集下的重建性能与鲁棒性，实现了当前最优的性能表现。

ABSTRACT

While Computed Tomography (CT) reconstruction from X-ray sinograms is necessary for clinical diagnosis, iodine radiation in the imaging process induces irreversible injury, thereby driving researchers to study sparse-view CT reconstruction, that is, recovering a high-quality CT image from a sparse set of sinogram views. Iterative models are proposed to alleviate the appeared artifacts in sparse-view CT images, but the computation cost is too expensive. Then deep-learning-based methods have gained prevalence due to the excellent performances and lower computation. However, these methods ignore the mismatch between the CNN's extbf{local} feature extraction capability and the sinogram's extbf{global} characteristics. To overcome the problem, we propose extbf{Du}al- extbf{Do}main extbf{Trans}former ( extbf{DuDoTrans}) to simultaneously restore informative sinograms via the long-range dependency modeling capability of Transformer and reconstruct CT image with both the enhanced and raw sinograms. With such a novel design, reconstruction performance on the NIH-AAPM dataset and COVID-19 dataset experimentally confirms the effectiveness and generalizability of DuDoTrans with fewer involved parameters. Extensive experiments also demonstrate its robustness with different noise-level scenarios for sparse-view CT reconstruction. The code and models are publicly available at https://github.com/DuDoTrans/CODE

研究动机与目标

• 解决卷积神经网络（CNN）局部特征提取与正弦图全局采样特性之间的不匹配问题，以提升稀疏视角 CT 重建性能。
• 通过在图像重建前恢复具有信息量的正弦图，克服低剂量 CT 中的伪影与噪声。
• 通过在统一的 Transformer 基础框架中整合正弦图域与图像域的联合优化，提升重建质量与鲁棒性。
• 通过可微分的一致性层，确保恢复后的正弦图与重建图像之间的一致性。
• 在多样化数据集与噪声条件下，验证方法的泛化能力与计算效率。

提出的方法

• 基于 Swin Transformer 的移位窗口自注意力机制，提出一种正弦图恢复 Transformer（SRT）模块，以建模正弦图中的长程依赖关系。
• 将 SRT 与残差图像重建模块（RIRM）结合，利用原始正弦图与增强后正弦图联合优化图像重建过程。
• 设计一种可微分的双域一致性层，以对齐重建图像与恢复后的正弦图，降低域漂移误差。
• 将 SRT 与 RIRM 整合为统一框架 DuDoTrans，支持端到端训练并实现双域监督。
• 通过基于图像块的操作，自适应地结合 CNN 的局部归纳偏置与 Transformer 的全局上下文建模能力。
• 在 NIH-AAPM 与 COVID-19 数据集上训练并评估 DuDoTrans，与基于 CNN、Transformer 及深度展开方法进行对比。

实验结果

研究问题

• RQ1 基于 Transformer 的正弦图恢复模块是否能通过捕捉正弦图数据中的长程依赖关系，提升稀疏视角 CT 重建性能？
• RQ2 在双域框架中联合集成正弦图恢复与图像重建，是否能有效提升重建质量与鲁棒性？
• RQ3 所提出的 SRT 模块是否能在不同重建架构（包括 CNN、Transformer 与深度展开方法）中实现良好泛化？
• RQ4 可微分的一致性层是否能有效减少域漂移，并提升恢复正弦图与重建图像之间的对齐程度？
• RQ5 在不同噪声水平与视角稀疏条件下，DuDoTrans 相较于当前最优方法，在性能、参数效率与推理速度方面表现如何？

主要发现

• 在 NIH-AAPM 数据集上，当 α_max = 96 时，DuDoTrans 的 PSNR 达到 32.68 dB，优于 ImgTrans（32.50 dB）与 FBPConvNet（31.47 dB）。
• 在同一数据集上，DuDoTrans 的 SSIM 达到 0.9047，超过 ImgTrans（0.9010）与 PDNet+SRT（0.9045）。
• 在 Poisson 噪声水平为 1e5、5e5 与 1e6 的条件下，DuDoTrans 在所有 α_max 设置下均保持最优性能，展现出对噪声的强鲁棒性。
• DuDoTrans-L1 与 L2 在参数量更少的情况下，相比基线模型减少 0.8–1.0 dB 的 FLOPs，表现出更高的计算效率。
• 在分布外的 COVID-19 数据集上，DuDoTrans 相较于基于 CNN 的方法将 PSNR 提升 4–5 dB，并超过 ImgTrans 0.4 dB。
• 消融实验表明，加入 SRT 模块后，CNN、Transformer 与深度展开基线模型的 PSNR 均提升 0.5–1.0 dB。