[论文解读] Intelligent Parameter Tuning in Optimization-based Iterative CT Reconstruction via Deep Reinforcement Learning

Chenyang Shen, Yesenia Gonzalez+3 more|arXiv (Cornell University)|Nov 1, 2017

Medical Imaging Techniques and Applications参考文献 3被引用 7

一句话总结

本文提出一种深度强化学习框架，用于自动化基于优化的迭代CT重建中的参数调优，采用参数调优策略网络（PTPN），根据视觉反馈按图像块调整正则化参数。该方法实现的图像质量与人工调优相当或更优，展示了对人类类似参数调整的端到端学习，从而提升重建保真度。

ABSTRACT

A number of image-processing problems can be formulated as optimization problems. The objective function typically contains several terms specifically designed for different purposes. Parameters in front of these terms are used to control the relative weights among them. It is of critical importance to tune these parameters, as quality of the solution depends on their values. Tuning parameter is a relatively straightforward task for a human, as one can intelligently determine the direction of parameter adjustment based on the solution quality. Yet manual parameter tuning is not only tedious in many cases, but becomes impractical when a number of parameters exist in a problem. Aiming at solving this problem, this paper proposes an approach that employs deep reinforcement learning to train a system that can automatically adjust parameters in a human-like manner. We demonstrate our idea in an example problem of optimization-based iterative CT reconstruction with a pixel-wise total-variation regularization term. We set up a parameter tuning policy network (PTPN), which maps an CT image patch to an output that specifies the direction and amplitude by which the parameter at the patch center is adjusted. We train the PTPN via an end-to-end reinforcement learning procedure. We demonstrate that under the guidance of the trained PTPN for parameter tuning at each pixel, reconstructed CT images attain quality similar or better than in those reconstructed with manually tuned parameters.

研究动机与目标

• 为解决基于优化的迭代CT重建中繁琐且不切实际的手动参数调优问题。
• 开发一种自动化系统，模拟人类基于图像质量反馈调整正则化参数的直觉。
• 实现无需人工干预的参数调整策略的端到端学习，以提升重建质量。
• 证明使用深度强化学习实现CT重建中自适应、逐块参数调优的可行性。
• 通过智能、学习得到的参数调整，实现与人工调优参数相当或更优的重建质量。

提出的方法

• 设计参数调优策略网络（PTPN），将局部CT图像块映射为正则化参数在该块中心的调整方向与幅度。
• 通过基于图像质量的奖励信号，采用深度强化学习训练PTPN，代理通过试错交互学习改善重建。
• 采用深度Q网络（DQN）框架，学习在总变差正则化CT重建模型中调整正则化参数λ的最优策略。
• 环境由迭代重建过程定义，代理观察当前图像块并采取动作修改λ，根据图像质量度量接收反馈。
• 训练过程为端到端，使代理能够学习空间自适应的参数调优策略，无需显式监督。
• 该方法在具有像素级总变差正则化的CT重建问题上进行评估，其中λ根据局部图像特征逐块调整。

实验结果

研究问题

• RQ1 深度强化学习能否以模仿人类直觉的方式调优CT重建中的正则化参数？
• RQ2 经端到端训练的代理能否实现与人工调优参数相当或更优的重建质量？
• RQ3 通过强化学习实现的逐块自适应参数调优是否能提升迭代CT重建的图像质量？
• RQ4 该代理是否能在无需显式再训练的情况下泛化到不同图像特征和噪声水平？
• RQ5 所学习策略的性能与L曲线或广义交叉验证等标准参数选择方法相比如何？

主要发现

• 所提出的基于深度强化学习的参数调优系统实现了与人工调优参数相当或更优的CT重建图像质量。
• PTPN成功学习了空间自适应地调整正则化参数λ，提升了噪声或低剂量区域的图像保真度。
• 该方法对图像内容变化表现出鲁棒性，能够学习在噪声区域增加正则化、在平滑区域减少正则化。
• PTPN的端到端训练使代理能够发现最优参数调整策略，而无需依赖真实参数值。
• 该框架减少了在参数选择中对专家干预的需求，使迭代重建在临床应用中更具可行性。
• 结果验证了强化学习能够有效建模复杂图像重建参数调优中的人类类似决策过程。