[论文解读] Application of Spherical Convolutional Neural Networks to Image Reconstruction and Denoising in Nuclear Medicine

Amirreza Hashemi, Yuemeng Feng+2 more|arXiv (Cornell University)|Jul 6, 2023

Medical Imaging Techniques and ApplicationsMedicine被引用 3

一句话总结

本文提出球面卷积神经网络（SCNNs）作为核医学中图像重建与去噪的更高效、性能更优的替代方案。通过利用旋转等变性，SCNNs 减少了对大规模训练数据集的依赖，并在计算成本显著降低的情况下实现了优于标准CNNs的图像质量，展现出在旋转变化的发射断层成像中强大的应用潜力。

ABSTRACT

This work investigates use of equivariant neural networks as efficient and high-performance frameworks for image reconstruction and denoising in nuclear medicine. Our work aims to tackle limitations of conventional Convolutional Neural Networks (CNNs), which require significant training. We investigated equivariant networks, aiming to reduce CNN's dependency on specific training sets. Specifically, we implemented and evaluated equivariant spherical CNNs (SCNNs) for 2- and 3-dimensional medical imaging problems. Our results demonstrate superior quality and computational efficiency of SCNNs in both image reconstruction and denoising benchmark problems. Furthermore, we propose a novel approach to employ SCNNs as a complement to conventional image reconstruction tools, enhancing the outcomes while reducing reliance on the training set. Across all cases, we observed significant decrease in computational cost by leveraging the inherent inclusion of equivariant representatives while achieving the same or higher quality of image processing using SCNNs compared to CNNs. Additionally, we explore the potential of SCNNs for broader tomography applications, particularly those requiring rotationally variant representation.

研究动机与目标

• 解决传统CNN在核医学图像重建中计算量大且依赖大量数据的问题。
• 研究等变球面CNN（SCNNs）在二维和三维医学成像任务中的性能表现。
• 通过SCNNs利用几何不变性，减少对大规模、任务特定训练数据集的依赖。
• 评估SCNNs作为传统重建方法的补充框架，以提升输出图像质量。
• 探索SCNNs在旋转变化的发射断层成像中的更广泛应用前景。

提出的方法

• 实现设计为旋转等变的球面卷积神经网络（SCNNs），以在球面上保持几何结构。
• 在真实和模拟的SPECT/PET数据上，将SCNNs应用于核医学中的二维和三维图像重建与去噪任务。
• 通过球面谐函数和群卷积操作，实现对SO(3)旋转的等变性，从而在不同方向间实现泛化。
• 将SCNNs作为后处理模块或混合模块，与传统重建算法集成，以提升图像质量。
• 在基准数据集上进行训练与评估，采用PSNR、SSIM和计算效率等定量指标。
• 在相同条件下将SCNNs性能与标准CNNs进行对比，评估其在准确率和速度方面的提升。

实验结果

研究问题

• RQ1 球面CNNs在核医学中是否能实现优于标准CNNs的图像重建与去噪性能？
• RQ2 SCNNs在多大程度上减少了对大规模、任务特定训练数据集的依赖？
• RQ3 SCNNs的旋转等变性如何提升其在不同图像方向上的泛化能力？
• RQ4 SCNNs能否有效集成到传统重建流程中以提升输出图像质量？
• RQ5 SCNNs在二维和三维医学成像任务中，相对于标准CNNs的计算效率如何？

主要发现

• 在所有基准重建与去噪任务中，SCNNs在PSNR和SSIM指标上均优于标准CNNs，表现出更高的图像质量。
• 由于固有的等变表示，SCNNs的计算成本显著低于标准CNNs。
• SCNNs表现出对大规模训练数据集的依赖性降低，得益于几何不变性，在数据量较少时仍能保持高性能。
• 将SCNNs作为传统重建工具的补充，显著提升了图像保真度和噪声抑制能力。
• SCNNs在旋转变化的成像场景中表现出优异的泛化能力，表明其适用于复杂的发射断层成像应用。
• 2025年1月发布的论文最终版（v3）增加了对三维医学成像数据的扩展结果与验证，确认了性能与效率的持续提升。