[论文解读] Learning to Scan: A Deep Reinforcement Learning Approach for Personalized Scanning in CT Imaging

Ziju Shen, Yufei Wang+3 more|arXiv (Cornell University)|Jun 3, 2020

Medical Imaging Techniques and Applications参考文献 67被引用 5

一句话总结

本文提出一种深度强化学习（DRL）框架，用于学习个性化的CT扫描策略，以优化个体患者的扫描角度选择与剂量分配。通过将CT扫描建模为马尔可夫决策过程（MDP），并采用近端策略优化（PPO）进行训练，该方法在图像重建质量方面优于随机或均匀采样策略，且在多种重建算法（包括TV、小波框架及PD-net等深度学习模型）上均表现出良好的泛化能力，其性能以PSNR和SSIM衡量。

ABSTRACT

Computed Tomography (CT) takes X-ray measurements on the subjects to reconstruct tomographic images. As X-ray is radioactive, it is desirable to control the total amount of dose of X-ray for safety concerns. Therefore, we can only select a limited number of measurement angles and assign each of them limited amount of dose. Traditional methods such as compressed sensing usually randomly select the angles and equally distribute the allowed dose on them. In most CT reconstruction models, the emphasize is on designing effective image representations, while much less emphasize is on improving the scanning strategy. The simple scanning strategy of random angle selection and equal dose distribution performs well in general, but they may not be ideal for each individual subject. It is more desirable to design a personalized scanning strategy for each subject to obtain better reconstruction result. In this paper, we propose to use Reinforcement Learning (RL) to learn a personalized scanning policy to select the angles and the dose at each chosen angle for each individual subject. We first formulate the CT scanning process as an MDP, and then use modern deep RL methods to solve it. The learned personalized scanning strategy not only leads to better reconstruction results, but also shows strong generalization to be combined with different reconstruction algorithms.

研究动机与目标

• 解决CT成像中固定、非个性化扫描策略无法根据个体患者解剖结构自适应调整的局限性。
• 通过学习最优扫描策略，在保持或提升图像重建质量的同时降低辐射剂量。
• 开发一种个性化扫描策略，能够根据扫描过程中的实时测量反馈，动态选择扫描角度并分配剂量。
• 证明所学习策略在多种重建算法（包括传统正则化方法与深度学习模型）间的泛化能力。

提出的方法

• 将CT扫描过程建模为马尔可夫决策过程（MDP），其中状态包含已采集的测量数据，动作用于选择下一个扫描角度与剂量水平，奖励基于图像重建质量计算。
• 在DRL框架中采用基于ResNet的编码器处理状态表征，并通过深度Q网络估计动作价值。
• 使用近端策略优化（PPO）算法训练策略网络，实现个性化扫描策略的稳定且高效学习。
• 在每个时间步，通过重建算法（如SART）计算奖励函数，为策略优化提供密集反馈。
• 通过学习基于图像复杂度自适应选择角度与剂量，支持非规则、非均匀的扫描模式。
• 在250张真实2D CT图像上端到端训练策略，并在350张未见的测试图像上评估其泛化能力与性能表现。

实验结果

研究问题

• RQ1 强化学习能否学习到一种个性化扫描策略，使其在CT图像重建中优于随机采样或均匀采样？
• RQ2 单一训练好的RL策略在TV、小波框架及深度学习模型等不同重建算法间的泛化能力如何？
• RQ3 所学习的策略是否能根据个体患者解剖结构的复杂程度，自适应地调整角度选择与剂量分配？
• RQ4 在训练过程中未显式建模噪声的情况下，RL策略能否在不同噪声水平下维持高质量的图像重建？
• RQ5 不同患者扫描中，所选角度与剂量分配的分布如何变化？

主要发现

• 在所有测试的重建算法中，RL-AD策略的PSNR与SSIM值均显著高于动态采样（DS-ED）与均匀采样（UF-AEC）。
• 即使仅使用SART进行训练，该RL策略仍能显著提升其他算法（包括TV、小波框架与PD-net）的重建质量，表现出强大的泛化能力。
• 策略能够根据患者解剖结构自适应调整：结构更复杂的图像会获得更多的测量角度与更低的单角度剂量。
• 不同受试者间所选角度与剂量分配的分布存在显著差异，证实了个性化适应而非固定策略。
• 尽管仅在高斯噪声下进行训练，该策略仍能泛化至不同噪声水平，表明对测量变异具有鲁棒性。
• 在复杂图像上，策略选择54至65个角度，且随着角度数量增加，单角度剂量相应降低，体现了高效的剂量分配策略。