[论文解读] Fast PET reconstruction using Multi-scale Fully Convolutional Neural Networks

Jieqing Jiao, Sébastien Ourselin|arXiv (Cornell University)|Apr 24, 2017

Medical Imaging Techniques and Applications参考文献 2被引用 13

一句话总结

本文提出一种多尺度全卷积神经网络（msfCNN），通过空洞卷积和周期性重排实现高效、保分辨率的下采样与上采样，以实现快速、高质量的正电子发射断层扫描（PET）图像重建。该模型在模拟数据上进行训练，每帧重建时间低于1秒，比OSEM快30倍以上，同时在肿瘤学和神经退行性疾病影像中保持与迭代方法相当的图像质量。

ABSTRACT

Reconstruction of PET images is an ill-posed inverse problem and often requires iterative algorithms to achieve good image quality for reliable clinical use in practice, at huge computational costs. In this paper, we consider the PET reconstruction a dense prediction problem where the large scale contextual information is essential, and propose a novel architecture of multi-scale fully convolutional neural networks (msfCNN) for fast PET image reconstruction. The proposed msfCNN gains large receptive fields with both memory and computational efficiency, by using a downscaling-upscaling structure and dilated convolutions. Instead of pooling and deconvolution, we propose to use the periodic shuffling operation from sub-pixel convolution and its inverse to scale the size of feature maps without losing resolution. Residual connections were added to improve training. We trained the proposed msfCNN model with simulated data, and applied it to clinical PET data acquired on a Siemens mMR scanner. The results from real oncological and neurodegenerative cases show that the proposed msfCNN-based reconstruction outperforms the iterative approaches in terms of computational time while achieving comparable image quality for quantification. The proposed msfCNN model can be applied to other dense prediction tasks, and fast msfCNN-based PET reconstruction could facilitate the potential use of molecular imaging in interventional/surgical procedures, where cancer surgery can particularly benefit.

研究动机与目标

• 解决迭代PET重建方法计算成本高的问题，后者限制了其在术中影像等实时临床场景中的应用。
• 克服FBP等分析方法的局限性，后者因噪声建模不佳而产生噪声和条纹伪影。
• 开发一种基于深度学习的方法，将PET重建视为密集预测问题，以利用大规模上下文信息。
• 设计一种内存与计算效率高的架构，在特征图缩放过程中保持空间分辨率。
• 实现适用于介入和手术过程集成的快速、精确PET重建。

提出的方法

• 提出一种多尺度全卷积神经网络（msfCNN），利用空洞卷积扩展感受野，同时不增加参数量或计算成本。
• 用子像素卷积中的周期性重排操作替代池化和转置卷积，实现无分辨率损失的特征图下采样与上采样。
• 引入残差连接以稳定训练并改善深层网络中的梯度流动。
• 使用反向Radon变换将原始sinogram数据投影到图像空间作为输入，避免使用参数量大的全连接层。
• 在无扫描仪特异性建模的情况下，使用模拟PET数据端到端训练msfCNN，损失函数为均方误差。
• 将训练好的模型应用于西门子mMR扫描仪获取的真实临床PET数据，独立重建2D轴向切片以提升速度。

实验结果

研究问题

• RQ1 具有多尺度上下文建模能力的全卷积神经网络能否在保持诊断图像质量的前提下，比迭代方法更快地重建PET图像？
• RQ2 用周期性重排替代池化和转置卷积是否能保持空间分辨率并减少PET重建中的模糊？
• RQ3 在未进行显式扫描仪建模的情况下，基于模拟数据训练的模型在真实临床PET扫描中的泛化能力如何？
• RQ4 msfCNN能否达到实时应用（如癌症手术中术中肿瘤评估）所需的速度？
• RQ5 空洞卷积和残差连接对重建精度和训练稳定性有何影响？

主要发现

• msfCNN在Tesla K40c GPU上重建一个29帧的[18F]florbetapir PET扫描仅需54秒，而OSEM每帧约需1分钟，实现30倍加速。
• msfCNN每帧2D轴向切片的重建时间约为15毫秒，证明其具备临床实时应用的可行性。
• 在阿尔茨海默病患者158个脑区中，msfCNN与OSEM重建的区域示踪剂摄取值具有高度相关性（r = 0.9503）。
• msfCNN在[18F]choline扫描中有效恢复了肿瘤边界，尽管为2D处理，其诊断质量与OSEM重建相当。
• 该模型在计算效率上优于OSEM，同时在定量分析和肿瘤检测方面保持了相当的图像质量。
• 由于周期性重排避免了分辨率损失，其重建结果比基于标准转置卷积的上采样方法更清晰。