[论文解读] Block stochastic gradient descent for large-scale tomographic reconstruction in a parallel network

Yushan Gao, Ander Biguri+1 more|arXiv (Cornell University)|Mar 28, 2019

Medical Imaging Techniques and Applications参考文献 36被引用 3

一句话总结

该论文提出块随机梯度下降（BSGD），一种用于分布式网络中大规模断层扫描重建的并行行操作方法，适用于节点存储受限的场景。通过在每次迭代中仅使用随机梯度和重要性采样更新图像的块，BSGD 减少了节点间通信量，同时在收敛速度和精度方面优于 SIRT、CAV 和 CSGD，尤其在高斯噪声和总变差正则化条件下表现更优。

ABSTRACT

Iterative algorithms have many advantages for linear tomographic image reconstruction when compared to back-projection based methods. However, iterative methods tend to have significantly higher computational complexity. To overcome this, parallel processing schemes that can utilise several computing nodes are desirable. Popular methods here are row action methods, which update the entire image simultaneously and column action methods, which require access to all measurements at each node. In large scale tomographic reconstruction with limited storage capacity of each node, data communication overheads between nodes becomes a significant performance limiting factor. To reduce this overhead, we proposed a row action method BSGD. The method is based on the stochastic gradient descent method but it does not update the entire image at each iteration, which reduces between node communication. To further increase convergence speeds, an importance sampling strategy is proposed. We compare BSGD to other existing stochastic methods and show its effectiveness and efficiency. Other properties of BSGD are also explored, including its ability to incorporate total variation (TV) regularization and automatic parameter tuning.

研究动机与目标

• 解决在分布式计算中大规模迭代式 CT 重建所面临的高计算复杂度和通信开销问题。
• 通过每次迭代仅更新图像块而非完整图像，减少并行断层扫描重建中的节点间通信量。
• 在节点存储容量有限的分布式环境中，提升收敛速度和重建质量。
• 在分布式框架中有效应用总变差正则化，实现稀疏视角 CT 重建。
• 开发一种结合随机优化效率与大规模非标准 CT 扫描轨迹可扩展性的方法。

提出的方法

• 提出 BSGD 作为一种分块随机梯度下降方法，每次迭代仅处理投影数据的子集和图像块，避免完整图像的更新。
• 采用重要性采样优先选择更具信息量的投影块，从而加速收敛。
• 采用三步迭代更新机制：(1) 通过辅助变量 z 进行残差追踪，(2) 通过 g 进行梯度估计，(3) 使用步长 μ 通过 x 进行图像更新。
• 引入 A 的分块矩阵划分，将其划分为 M 个行块和 N 个列块，实现节点间部分数据访问下的分布式计算。
• 通过修改目标函数并将其整合到 BSGD 更新规则中，实现总变差（TV）正则化。
• 使用随机对角投影矩阵 R1、R2、R3 建模随机采样，确保收敛至最小二乘解。

实验结果

研究问题

• RQ1 分块随机梯度方法是否能在不牺牲收敛速度的前提下，减少分布式大规模断层扫描重建中的通信开销？
• RQ2 与随机梯度方法中均匀采样相比，重要性采样在 BSGD 中如何提升收敛性能？
• RQ3 在高斯噪声条件下，BSGD 在重建精度和速度方面相较于 SIRT、CAV 和 CSGD 的优越程度如何？
• RQ4 BSGD 是否能在分布式环境中有效集成总变差正则化，实现稀疏视角 CT 重建？
• RQ5 BSGD 的理论收敛行为如何？其在固定点分析中是否收敛至最小二乘解？

主要发现

• 在存在高斯噪声的大规模 CT 重建中，BSGD 的收敛速度更快，重建精度高于 SIRT、CAV 和 CSGD。
• 在 BSGD 中使用重要性采样相比均匀采样策略，显著加速了收敛。
• BSGD 通过每次迭代仅更新图像块，减少了节点间通信，适用于存储容量受限的系统。
• 采用总变差正则化的 BSGD（即 BSGD-TV）能有效从稀疏视角数据中重建图像，在低剂量 CT 场景中表现出强鲁棒性。
• 实验结果证实 BSGD 收敛至最小二乘解，理论分析表明其收敛至最优解，尽管尚未提供正式证明。
• 在 CT 重建任务中，BSGD 在计算效率方面优于基于机器学习的优化方法如 SVRG 和 ORBCDVD。