[论文解读] Stochastic EM methods with Variance Reduction for Penalised PET Reconstructions

Željko Kereta, Robert Twyman+3 more|arXiv (Cornell University)|Jun 6, 2021

Medical Imaging Techniques and Applications参考文献 52被引用 13

一句话总结

本文提出两种随机方差减少方法——SVREM 和方差减少梯度上升（SAGA/SVRG）——用于惩罚性PET图像重建，在确保稳定性和非负性的同时，显著加快了经典OSEM的收敛速度。这些方法实现了更快、更稳定的收敛，并提升了图像质量，尤其在解析精细结构方面优于现有的OSEM型算法，数值实验结果表现优异。

ABSTRACT

Expectation-maximization (EM) is a popular and well-established method for image reconstruction in positron emission tomography (PET) but it often suffers from slow convergence. Ordered subset EM (OSEM) is an effective reconstruction algorithm that provides significant acceleration during initial iterations, but it has been observed to enter a limit cycle. In this work, we investigate two classes of algorithms for accelerating OSEM based on variance reduction for penalised PET reconstructions. The first is a stochastic variance reduced EM algorithm, termed as SVREM, an extension of the classical EM to the stochastic context, by combining classical OSEM with insights from variance reduction techniques for gradient descent. The second views OSEM as a preconditioned stochastic gradient ascent, and applies variance reduction techniques, i.e., SAGA and SVRG, to estimate the update direction. We present several numerical experiments to illustrate the efficiency and accuracy of the approaches. The numerical results show that these approaches significantly outperform existing OSEM type methods for penalised PET reconstructions, and hold great potential.

研究动机与目标

• 解决经典OSEM在惩罚性PET重建中收敛缓慢及极限环行为的问题。
• 开发具有方差减少的随机优化方法，以加速收敛，同时保持非负性和稳定性。
• 将机器学习中的现代随机优化技术整合到PET图像重建中，以提升效率。
• 在理论保证下，确保所提算法收敛至最大后验概率（MAP）解。

提出的方法

• 提出SVREM，一种结合方差减少与基于代理函数的惩罚处理的随机方差减少期望最大化算法，用于MAP PET重建。
• 通过使用充分统计量的运行平均与方差减少技术，稳定更新并加速收敛。
• 将OSEM重新表述为预处理随机梯度上升，并在更新方向上应用SAGA与SVRG实现方差减少。
• 应用投影步骤（近端映射）以在基于梯度的方法中强制实现非负性，确保物理合理性。
• 采用对角预处理矩阵与步长调度策略，以平衡收敛速度与稳定性。
• 理论分析证明，在常数预处理矩阵下，算法以几乎必然收敛至修正似然函数的极大值点。

实验结果

研究问题

• RQ1 能否有效将随机优化中的方差减少技术适配到惩罚性PET重建中，以加速收敛？
• RQ2 SVREM与方差减少梯度方法在收敛速度与图像质量方面相较于经典OSEM表现如何？
• RQ3 步长选择与预处理矩阵设计对这些算法的稳定性与性能有何影响？
• RQ4 这些方法能否避免OSEM典型的极限环行为，同时保持早期快速收敛？
• RQ5 在非光滑与光滑惩罚项下，这些算法的理论收敛行为如何？

主要发现

• SVREM与方差减少梯度方法（SAGA/SVRG）在收敛速度与图像质量方面显著优于经典OSEM，尤其在解析精细结构方面表现更优。
• SVREM即使在过度松弛情况下也能实现稳定收敛，无极限环现象，并通过基于EM的更新保持非负性。
• 在常数预处理矩阵与合适步长下，算法可理论保证收敛至MAP解。
• 数值结果表明，SVREM在200轮迭代、70个子集条件下，log-likelihood达到约-1.370×10⁵，优于SAGA与SVRG。
• 像素级差异图像显示，SVREM在50轮与200轮迭代后的重建结果与1000轮迭代的参考图像显著接近，表明其收敛过程稳定。
• 步长α的影响表现良好：SVREM的最佳性能出现在α=0.7，SAGA/SVRG则在α=0.5–0.7之间，适当调优可进一步提升收敛速度。