[논문 리뷰] An interpretable planning bot for pancreas stereotactic body radiation therapy

Jiahan Zhang, Chunhao Wang외 10명|arXiv (Cornell University)|2020. 09. 17.

Reinforcement Learning in Robotics참고 문헌 16인용 수 9

한 줄 요약

이 논문은 인간 계획자 의사결정을 모방함으로써 치료 계획을 자동화하는 해석 가능한 강화학습(RL)-기반 플래닝 봇을 제안한다. 16명의 환자로부터 유도된 48개의 증강 계획을 기반으로 훈련된 봇은 24개의 검증 계획을 생성하였으며, PTV 피복도는 임상 기준과 동일했고 OAR 제약 조건을 완전히 준수하였다. 또한 봇이 학습한 지식은 훈련 세션 간 일관성 있고 해석 가능하였다.

ABSTRACT

Pancreas stereotactic body radiotherapy treatment planning requires planners to make sequential, time consuming interactions with the treatment planning system (TPS) to reach the optimal dose distribution. We seek to develop a reinforcement learning (RL)-based planning bot to systematically address complex tradeoffs and achieve high plan quality consistently and efficiently. The focus of pancreas SBRT planning is finding a balance between organs-at-risk sparing and planning target volume (PTV) coverage. Planners evaluate dose distributions and make planning adjustments to optimize PTV coverage while adhering to OAR dose constraints. We have formulated such interactions between the planner and the TPS into a finite-horizon RL model. First, planning status features are evaluated based on human planner experience and defined as planning states. Second, planning actions are defined to represent steps that planners would commonly implement to address different planning needs. Finally, we have derived a reward system based on an objective function guided by physician-assigned constraints. The planning bot trained itself with 48 plans augmented from 16 previously treated patients and generated plans for 24 cases in a separate validation set. All 24 bot-generated plans achieve similar PTV coverages compared to clinical plans while satisfying all clinical planning constraints. Moreover, the knowledge learned by the bot can be visualized and interpreted as consistent with human planning knowledge, and the knowledge maps learned in separate training sessions are consistent, indicating reproducibility of the learning process.

연구 동기 및 목표

• 시간 소모가 큰 수동 상호작용을 대체함으로써 췌장 스테레오테이틱 바디 방사선 치료(SBRT) 치료 계획의 자동화 및 표준화를 목적으로 한다.
• SBRT 계획에서 목표 부위 피복(PTV)과 위험 부위(OAR) 보호 간의 복잡한 상충 관계를 해결한다.
• RL 에이전트의 의사결정 과정이 해석 가능하고 임상 전문 지식과 일치하도록 보장한다.
• 별도의 24건의 케이스를 대상으로 봇의 성능을 검증하여 임상 가능성과 일관성을 확보한다.

제안 방법

• 치료 계획 과정을 유한 수명의 마코프 결정 과정(MDP)으로 모델링하여 계획자 상호작용을 순차적 결정으로 표현한다.
• 인간 계획자 경험에서 유도된 선량 분포 특징과 임상 지표를 기반으로 계획 상태를 정의한다.
• 빔 무게 조정, 필드 형상 조절 등 임상적으로 의미 있는 조정 조치를 이산적인 계획 동작으로 지정하여 에이전트를 이끌어낸다.
• 의사가 할당한 OAR 선량 제약 조건과 PTV 피복 목표를 포함한 목적 함수를 기반으로 보상 함수를 설계한다.
• 이전에 치료된 16명의 환자로부터 유도된 48개의 증강 계획을 사용하여 RL 에이전트를 훈련시켜 최적의 계획 정책을 학습한다.
• 학습된 지식을 시각화하고 해석하여 인간 계획 논리와의 일치성과 세션 간 재현 가능성을 확인한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 임상 기준 수준의 PTV 피복도와 OAR 보호를 달성하는 고품질의 췌장 SBRT 계획을 학습할 수 있는가?
• RQ2 RL 기반 플래닝 봇의 의사결정 과정은 인간 계획자 지식과 해석 가능하고 일관성이 있는가?
• RQ3 여러 훈련 세션 간에 봇이 학습한 지식은 얼마나 재현 가능한가?
• RQ4 새로운, 볼 수 없는 환자 케이스에 대해 봇은 임상 제약 조건과 계획 품질을 유지하면서 일반화할 수 있는가?

주요 결과

• 플래닝 봇이 생성한 24개의 검증 계획은 임상 계획과 통계적으로 유사한 PTV D98% 값을 기록하여 동일한 목표 부위 피복을 보여주었다.
• 봇이 생성한 모든 계획은 모든 임상 OAR 선량 제약 조건을 충족하여 안전 기준을 엄격히 준수함을 입증하였다.
• 봇이 학습한 지식은 시각적으로 해석 가능했고 기존의 임상 계획 전략과 일치하여 임상적 관련성을 확인하였다.
• 다른 훈련 세션에서 생성된 지식 맵은 높은 일관성을 보였으며, 런 간 재현 가능한 학습을 의미하였다.
• 수동 조작 없이도 봇은 일관된 계획 품질을 달성하였고, 계획 시간과 변동성을 크게 감소시켰다.