[论文解读] Experimental design for MRI by greedy policy search

Tim Bakker, Herke van Hoof+1 more|arXiv (Cornell University)|Oct 30, 2020

Model Reduction and Neural Networks参考文献 44被引用 6

一句话总结

本文提出一种基于贪婪策略搜索的强化学习方法，用于学习自适应的MRI相位空间采样策略，其性能优于启发式方法和非贪婪方法。令人惊讶的是，尽管梯度估计更简单，该贪婪方法仍实现了接近最优的性能，这归因于策略更新中更低的方差，表明在固定测量预算下，对个体图像的自适应性对于提升重建质量至关重要。

ABSTRACT

In today's clinical practice, magnetic resonance imaging (MRI) is routinely accelerated through subsampling of the associated Fourier domain. Currently, the construction of these subsampling strategies - known as experimental design - relies primarily on heuristics. We propose to learn experimental design strategies for accelerated MRI with policy gradient methods. Unexpectedly, our experiments show that a simple greedy approximation of the objective leads to solutions nearly on-par with the more general non-greedy approach. We offer a partial explanation for this phenomenon rooted in greater variance in the non-greedy objective's gradient estimates, and experimentally verify that this variance hampers non-greedy models in adapting their policies to individual MR images. We empirically show that this adaptivity is key to improving subsampling designs.

研究动机与目标

• 解决基于启发式MRI相位空间采样掩码在加速成像中的局限性。
• 探索通过强化学习实现自适应、数据驱动的实验设计，是否能改善固定或非自适应策略的重建质量。
• 研究在学习最优相位空间采样模式时，贪婪与非贪婪策略优化之间的权衡。
• 评估策略梯度方法是否能有效学习针对个体解剖结构差异的图像特定采样策略。

提出的方法

• 将MRI相位空间采样建模为一个使用强化学习的序列决策问题，其中策略网络根据当前重建结果选择相位空间样本。
• 采用独立的重建模型（例如深度神经网络）处理子采样的相位空间数据，并输出低分辨率图像，作为策略网络的输入。
• 基于每次采样步骤后重建图像与真实图像之间结构相似性（SSIM）的提升，设计奖励信号。
• 应用两种变体的策略梯度方法：贪婪（最大化即时奖励）和非贪婪（使用折扣未来奖励，γ=0.9）。
• 使用基线的REINFORCE方法估计梯度，从策略网络输出的离散概率分布中采样动作。
• 使用随机梯度下降端到端训练策略网络，优化在固定采集预算下的更高重建质量。

实验结果

研究问题

• RQ1 在重建质量和训练稳定性方面，MRI相位空间采样设计的贪婪策略搜索方法是否优于更复杂的非贪婪方法？
• RQ2 为何贪婪方法在未考虑长期奖励的情况下仍能实现接近最优的性能？
• RQ3 非贪婪目标中的梯度方差如何影响训练过程中的策略适应性和收敛性？
• RQ4 与固定或非自适应策略相比，对个体MR图像的自适应性在多大程度上提升了采样设计质量？
• RQ5 策略梯度方法能否有效学习到可泛化于不同解剖结构的图像特定采样模式？

主要发现

• 尽管结构简单，贪婪策略搜索方法在重建质量上几乎与更复杂的非贪婪方法持平。
• 非贪婪方法在梯度估计中表现出高方差，这阻碍了其在训练过程中对个体MR图像的适应能力。
• 贪婪方法表现出显著更低的梯度方差，从而带来更稳定且高效的策略学习，尤其在训练后期表现更优。
• 在膝关节数据集上，贪婪模型在第30轮时平均SNR达到5.90，而非贪婪模型降至1.08，表明其收敛性差。
• 在脑部数据集上，贪婪模型在第30轮时SNR达到14.50，而非贪婪模型降至2.02，进一步证实了非贪婪方法的不稳定性。
• 可视化结果表明，贪婪策略能有效学习到对低频相位空间区域的采样，尤其在长时序设置下，与已知的最优采样模式一致。