[論文レビュー] An interpretable planning bot for pancreas stereotactic body radiation therapy

Jiahan Zhang, Chunhao Wang+10 more|arXiv (Cornell University)|Sep 17, 2020

Reinforcement Learning in Robotics参考文献 16被引用数 9

ひとこと要約

本稿では、人間のプランナーの意思決定を模倣することで、膵臓ステレオタクティック的体外放射線治療（SBRT）の治療計画を自動化する解釈可能な強化学習（RL）ベースの計画ボットを提示する。16例の患者から得られた48件の拡張計画で訓練されたボットは、24件の検証計画を生成し、PTV被覆率が臨床基準と同等であり、OAR制約にも完全に準拠したが、学習された知識は訓練セッション間で解釈可能で一貫性を示した。

ABSTRACT

Pancreas stereotactic body radiotherapy treatment planning requires planners to make sequential, time consuming interactions with the treatment planning system (TPS) to reach the optimal dose distribution. We seek to develop a reinforcement learning (RL)-based planning bot to systematically address complex tradeoffs and achieve high plan quality consistently and efficiently. The focus of pancreas SBRT planning is finding a balance between organs-at-risk sparing and planning target volume (PTV) coverage. Planners evaluate dose distributions and make planning adjustments to optimize PTV coverage while adhering to OAR dose constraints. We have formulated such interactions between the planner and the TPS into a finite-horizon RL model. First, planning status features are evaluated based on human planner experience and defined as planning states. Second, planning actions are defined to represent steps that planners would commonly implement to address different planning needs. Finally, we have derived a reward system based on an objective function guided by physician-assigned constraints. The planning bot trained itself with 48 plans augmented from 16 previously treated patients and generated plans for 24 cases in a separate validation set. All 24 bot-generated plans achieve similar PTV coverages compared to clinical plans while satisfying all clinical planning constraints. Moreover, the knowledge learned by the bot can be visualized and interpreted as consistent with human planning knowledge, and the knowledge maps learned in separate training sessions are consistent, indicating reproducibility of the learning process.

研究の動機と目的

• 手作業による時間のかかる相互作用を置き換え、膵臓SBRT治療計画を自動化・標準化すること。
• SBRT計画における標的被覆率（PTV）と臓器障害リスク（OAR）の低減の複雑なトレードオフを解決すること。
• RLエージェントの意思決定プロセスが解釈可能で臨床的専門知識と整合していることを保証すること。
• 別個の24例のセットを用いてボットの性能を検証し、臨床的妥当性と一貫性を確認すること。

提案手法

• 治療計画プロセスを有限ホライズンのマルコフ意思決定過程（MDP）として定式化し、プランナーの相互作用を逐次的意思決定としてモデル化した。
• 人間のプランナー経験に基づく線量分布の特徴と臨床指標を、計画状態として定義した。
• エージェントを誘導するため、離散的で臨床的に意味のある調整（例：ビーム重量の変更、フィールド形状の調整）を計画行動として指定した。
• 医師が割り当てたOAR線量制約とPTV被覆率の目標を組み込んだ目的関数に基づく報酬関数を設計した。
• 以前に治療済みの16例の患者から得た48件の拡張計画を用いて、RLエージェントを訓練し、最適な計画方策を学習した。
• 学習された知識を可視化・解釈することで、人間の計画論理と整合しており、セッション間で再現性があることを確認した。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、PTV被覆率とOAR低減の両面で臨床基準を満たす高品質な膵臓SBRT計画を学習できるか？
• RQ2 RLベースの計画ボットの意思決定プロセスは解釈可能で、人間のプランナーの知識と一貫しているか？
• RQ3 ボットが複数回の訓練セッションで学習した知識はどの程度再現性があるか？
• RQ4 ボットは新たな未確認の患者症例に一般化可能であり、臨床的制約と計画品質を維持できるか？

主な発見

• ボットが生成した24件の検証計画は、PTV D98%値が臨床計画と統計的に差がなく、同等の標的被覆率を示した。
• ボットが生成したすべての計画が、すべての臨床的OAR線量制約を満たしており、安全限界への厳密な準拠を示した。
• ボットが学習した知識は視覚的に解釈可能で、既存の臨床的計画戦略と整合しており、臨床的関連性を確認した。
• 別々の訓練セッションから得られた知識マップは高い一貫性を示し、実行間での再現性のある学習を裏付けた。
• 手動による介入なしに一貫した計画品質が達成され、計画時間とばらつきが顕著に短縮された。