[论文解读] Unsupervised Learnable Sinogram Inpainting Network (SIN) for Limited Angle CT reconstruction

Ji Zhao, Zhiqiang Chen+2 more|arXiv (Cornell University)|Nov 9, 2018

Medical Imaging Techniques and Applications参考文献 30被引用 21

一句话总结

该论文提出了一种无监督可学习的纹影图修复网络（SIN），利用可微分的Radon/逆Radon变换器，联合优化纹影图修复与图像重建，实现无需成对训练数据的高保真有限角度CT重建。该方法在肺部CT数据上实现了33.86 dB的PSNR和0.9781的SSIM，达到当前最先进水平，且每张256×256图像的推理时间低于0.3秒。

ABSTRACT

In this paper, we propose a sinogram inpainting network (SIN) to solve limited-angle CT reconstruction problem, which is a very challenging ill-posed issue and of great interest for several clinical applications. A common approach to the problem is an iterative reconstruction algorithm with regularization term, which can suppress artifacts and improve image quality, but requires high computational cost. The starting point of this paper is the proof of inpainting function for limited-angle sinogram is continuous, which can be approached by neural networks in a data-driven method, granted by the universal approximation theorem. Based on this, we propose SIN as the fitting function -- a convolutional neural network trained to generate missing sinogram data conditioned on scanned data. Besides CNN module, we design two differentiable and rapid modules, Radon and Inverse Radon Transformer network, to encapsulate the physical model in the training procedure. They enable new joint loss functions to optimize both sinogram and reconstructed image in sync, which improved the image quality significantly. To tackle the labeled data bottleneck in clinical research, we form a sinogram-image-sinogram closed loop, and the difference between sinograms can be used as training loss. In this way, the proposed network can be self-trained, with only limited-angle data for unsupervised domain adaptation. We demonstrate the performance of our proposed network on parallel beam X-ray CT in lung CT datasets from Data Science Bowl 2017 and the ability of unsupervised transfer learning in Zubal's phantom. The proposed method performs better than state-of-art method SART-TV in PSNR and SSIM metrics, with noticeable visual improvements in reconstructions.

研究动机与目标

• 解决由于数据不足导致严重条纹伪影的有限角度CT重建挑战。
• 克服传统迭代方法（如SART-TV）计算成本高且引入类卡通伪影的局限性。
• 开发一种深度学习框架，实现无监督训练，缓解临床CT应用中标签数据不足的问题。
• 将物理约束（Radon变换）整合到可学习、可微分的架构中，确保端到端训练过程中的数据保真度。
• 实现纹影图空间与图像空间之间的跨域误差反向传播，以提升重建精度与一致性。

提出的方法

• 提出纹影图修复网络（SIN），一种基于U-Net的CNN，用于从不完整投影数据中预测缺失的纹影图区域。
• 引入可微分的Radon与逆Radon变换器模块，将物理投影模型嵌入网络，实现可微分的前向与反向投影。
• 设计联合损失函数，同时优化纹影图修复质量与重建图像质量，强制保证数据保真度。
• 采用基于重建纹影图与原始纹影图差异的自监督、纹影图-图像-纹影图闭环训练策略作为损失信号。
• 仅使用有限角度纹影图进行弱监督训练，避免对成对真实纹影图-图像数据的需求。
• 利用通用近似定理证明神经网络能够学习有限角度纹影图的连续修复函数。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习在有限角度纹影图中修复大块缺失区域，同时保持结构保真度？
• RQ2 如何将物理约束（Radon变换）整合到可微分的深度学习框架中，以提升重建精度与数据一致性？
• RQ3 自监督训练范式能否消除有限角度CT重建中对成对标签数据的需求？
• RQ4 通过可微分投影/反投影实现纹影图与图像域的联合优化，是否能比传统方法更有效地抑制伪影？
• RQ5 所提方法是否能在无需微调的情况下跨解剖结构（如肺部与体模）泛化，展示出稳健的无监督域自适应能力？

主要发现

• 所提出的SIN方法在Data Science Bowl 2017肺部CT数据集上实现了33.86 dB的PSNR与0.9781的SSIM，显著优于SART-TV（25.23 dB，0.9088）。
• 在Zubal体模数据集上，该方法实现了36.33 dB的PSNR与0.9838的SSIM，展现出强大的泛化能力与无监督自适应性能。
• 与SART-TV相比，该网络更有效地减少了条纹伪影，后者因总变差正则化而引入了分段常数类卡通伪影。
• 重建时间低于每张256×256图像0.3秒，显著快于SART-TV等迭代方法。
• 在Zubal体模上进行无监督微调可减少过拟合伪影并锐化图像边缘，且图像质量无下降。
• 自监督闭环训练策略仅使用有限角度纹影图即可实现有效模型适应，验证了临床CT中无监督域自适应的可行性。