[论文解读] Framing U-Net via Deep Convolutional Framelets: Application to Sparse-view CT

Yoseob Han, Jong Chul Ye|arXiv (Cornell University)|Aug 28, 2017

Medical Imaging Techniques and Applications参考文献 46被引用 32

一句话总结

本文提出双框架与紧框架U-Net架构，满足深度卷积框架理论中的框架条件，在稀疏视角CT重建中提升了高频边缘恢复效果。通过在U-Net中增加额外的跳跃连接或正交小波路径，模型减少了模糊与条纹伪影，在真实患者数据上实现了更优的PSNR（40.51 dB）与SSIM（0.943），优于标准U-Net及AAPM挑战赛优胜方法。

ABSTRACT

X-ray computed tomography (CT) using sparse projection views is a recent approach to reduce the radiation dose. However, due to the insufficient projection views, an analytic reconstruction approach using the filtered back projection (FBP) produces severe streaking artifacts. Recently, deep learning approaches using large receptive field neural networks such as U-Net have demonstrated impressive performance for sparse- view CT reconstruction. However, theoretical justification is still lacking. Inspired by the recent theory of deep convolutional framelets, the main goal of this paper is, therefore, to reveal the limitation of U-Net and propose new multi-resolution deep learning schemes. In particular, we show that the alternative U- Net variants such as dual frame and the tight frame U-Nets satisfy the so-called frame condition which make them better for effective recovery of high frequency edges in sparse view- CT. Using extensive experiments with real patient data set, we demonstrate that the new network architectures provide better reconstruction performance.

研究动机与目标

• 为解决标准U-Net在稀疏视角CT重建中的局限性，其因无法满足框架条件而导致模糊问题。
• 从理论上验证基于深度学习的CT重建方法，通过Hankel矩阵分解将U-Net与压缩感知相联系，基于深度卷积框架理论。
• 提出新型U-Net变体——双框架与紧框架U-Net，满足框架条件以实现更好的高频分量恢复。
• 在真实患者数据上展示更优性能，尤其在病灶检测与伪影抑制方面，优于现有深度学习与压缩感知方法。

提出的方法

• 通过在低分辨率路径中增加旁路连接以生成残差信号，提出双框架U-Net，确保满足框架条件。
• 引入使用正交小波框架（如Haar小波）的紧框架U-Net，增加高频路径以提升抗噪性与方向敏感性。
• 将深度卷积框架框架适配至CT重建，其中编码器-解码器结构源于Hankel矩阵分解。
• 将框架条件作为理论约束，确保信号重建的稳定与高效，尤其针对高频边缘。
• 采用平均池化与广义逆进行特征变换，确保框架分解中的数学一致性。
• 通过理论分析与真实稀疏视角CT数据的数值实验，验证框架条件的满足程度。

实验结果

研究问题

• RQ1 标准U-Net架构是否满足稀疏视角CT中稳定逆问题求解所需的框架条件？
• RQ2 如何修改深度学习架构，以在稀疏视角CT中更好恢复高频边缘，同时最小化模糊伪影？
• RQ3 双框架与紧框架U-Net变体在真实患者数据上的PSNR、SSIM与病灶检测准确率方面是否优于标准U-Net？
• RQ4 框架条件如何影响低剂量、稀疏视角CT中的噪声放大与重建保真度？
• RQ5 与标准U-Net相比，基于小波的框架结构是否能提升CT图像重建的鲁棒性与方向敏感性？

主要发现

• 所提出的紧框架U-Net在90视角全剂量稀疏视角CT重建中达到40.5091 dB的PSNR与0.9434的SSIM，优于非局部均值（34.03 dB，0.8389）与AAPM-Net（38.35 dB，0.8872）。
• 双框架U-Net满足框架条件并减少了模糊伪影，但相比紧框架变体表现出更高的噪声放大。
• 紧框架U-Net成功消除了稀疏视角引起的条纹伪影与低剂量噪声，在四分之一剂量图像中实现了清晰的病灶检测。
• 病灶检测性能显著优于非局部均值与AAPM-Net，后者因模糊而无法恢复病灶区域。
• 理论分析证实，标准U-Net不满足框架条件，导致低频分量过度强调与高频恢复效果差。
• 通过引入正交小波框架，所提架构显著提升了鲁棒性与方向敏感性，尤其在处理全局化条纹伪影方面表现优异。