[论文解读] An interpretable planning bot for pancreas stereotactic body radiation therapy

Jiahan Zhang, Chunhao Wang+10 more|arXiv (Cornell University)|Sep 17, 2020

Reinforcement Learning in Robotics参考文献 16被引用 9

一句话总结

该论文提出了一种基于可解释强化学习（RL）的胰腺立体定向放射外科治疗（SBRT）规划机器人，通过模仿人工规划师的决策来实现治疗计划的自动化。该机器人在16名患者的48份增强计划上进行训练，生成了24份验证计划，其计划在靶区覆盖（PTV）方面达到临床标准，且完全符合危及器官（OAR）的剂量约束，同时其学习到的知识在不同训练会话中保持可解释性和一致性。

ABSTRACT

Pancreas stereotactic body radiotherapy treatment planning requires planners to make sequential, time consuming interactions with the treatment planning system (TPS) to reach the optimal dose distribution. We seek to develop a reinforcement learning (RL)-based planning bot to systematically address complex tradeoffs and achieve high plan quality consistently and efficiently. The focus of pancreas SBRT planning is finding a balance between organs-at-risk sparing and planning target volume (PTV) coverage. Planners evaluate dose distributions and make planning adjustments to optimize PTV coverage while adhering to OAR dose constraints. We have formulated such interactions between the planner and the TPS into a finite-horizon RL model. First, planning status features are evaluated based on human planner experience and defined as planning states. Second, planning actions are defined to represent steps that planners would commonly implement to address different planning needs. Finally, we have derived a reward system based on an objective function guided by physician-assigned constraints. The planning bot trained itself with 48 plans augmented from 16 previously treated patients and generated plans for 24 cases in a separate validation set. All 24 bot-generated plans achieve similar PTV coverages compared to clinical plans while satisfying all clinical planning constraints. Moreover, the knowledge learned by the bot can be visualized and interpreted as consistent with human planning knowledge, and the knowledge maps learned in separate training sessions are consistent, indicating reproducibility of the learning process.

研究动机与目标

• 通过用强化学习（RL）智能体替代耗时的手动交互，实现胰腺SBRT治疗计划的自动化与标准化。
• 解决SBRT计划中靶区覆盖（PTV）与危及器官（OAR）保护之间的复杂权衡。
• 确保RL智能体的决策过程具有可解释性，并与临床专业知识保持一致。
• 在独立的24例病例上验证该机器人性能，确保其临床可行性与一致性。

提出的方法

• 将治疗计划过程建模为有限时域马尔可夫决策过程（MDP），将规划师的交互行为建模为序列决策。
• 基于来自人工规划师经验的剂量分布特征和临床指标定义规划状态。
• 将规划动作定义为离散且具有临床意义的调整（例如，射野权重调整、射野成形），以引导智能体行为。
• 设计基于目标函数的奖励函数，该函数整合了医生指定的OAR剂量约束和PTV覆盖目标。
• 使用16名既往治疗患者的48份增强计划对RL智能体进行训练，以学习最优规划策略。
• 可视化并解释学习到的知识，以确认其与人类规划逻辑的一致性以及在不同会话中的可复现性。

实验结果

研究问题

• RQ1 强化学习智能体能否学习生成符合临床标准的高质量胰腺SBRT计划，实现与临床计划相当的PTV覆盖和OAR保护？
• RQ2 基于RL的规划机器人决策过程是否可解释，并与人类规划师的知识保持一致？
• RQ3 该机器人在多次训练会话中学习到的知识是否具有可复现性？
• RQ4 该机器人能否泛化至新的、未见过的患者病例，同时保持临床约束和计划质量？

主要发现

• 该规划机器人生成的24份验证计划中，PTV D98%值与临床计划无统计学差异，表明靶区覆盖水平相当。
• 所有机器人生成的计划均满足所有临床OAR剂量约束，证明其严格遵守安全限值。
• 机器人学习到的知识具有视觉可解释性，并与既定的临床规划策略一致，证实其临床相关性。
• 不同训练会话生成的知识图谱表现出高度一致性，表明学习过程具有可复现性。
• 该RL智能体实现了无需人工干预的一致计划质量，显著减少了计划时间与变异性。