[논문 리뷰] Optimizing Warfarin Dosing using Deep Reinforcement Learning

Sadjad Anzabi Zadeh, W. Nick Street외 1명|arXiv (Cornell University)|2022. 02. 07.

Statistical Methods in Clinical Trials인용 수 7

한 줄 요약

이 논문은 약물동태학/약물역동학(PK/PD) 모델을 사용해 가상 환자를 시뮬레이션함으로써 개인화된 복용량을 최적화하는 딥 강화학습(DRL) 기반 워파린 복용량 조절 모델을 제안한다. 이 방법은 특히 민감도가 높은 환자에서 높은 치료 범위 내 머무름 시간(TTR)을 달성하여, 기존 임상 지침보다 뛰어난 성능과 강건성을 보이며 다양한 PK/PD 모델에서 검증된다.

ABSTRACT

Warfarin is a widely used anticoagulant, and has a narrow therapeutic range. Dosing of warfarin should be individualized, since slight overdosing or underdosing can have catastrophic or even fatal consequences. Despite much research on warfarin dosing, current dosing protocols do not live up to expectations, especially for patients sensitive to warfarin. We propose a deep reinforcement learning-based dosing model for warfarin. To overcome the issue of relatively small sample sizes in dosing trials, we use a Pharmacokinetic/ Pharmacodynamic (PK/PD) model of warfarin to simulate dose-responses of virtual patients. Applying the proposed algorithm on virtual test patients shows that this model outperforms a set of clinically accepted dosing protocols by a wide margin. We tested the robustness of our dosing protocol on a second PK/PD model and showed that its performance is comparable to the set of baseline protocols.

연구 동기 및 목표

• 워파린의 좁은 치료 지수와 출혈 또는 혈전색전 합병증의 높은 위험도로 인해 개인화된 복용량 조절이 필수적이므로, 이 문제를 해결하고자 한다.
• 소규모 임상 시험 데이터셋의 한계를 극복하기 위해 PK/PD 모델을 활용해 가상 환자의 반응을 시뮬레이션하고 대규모 학습 데이터를 생성하고자 한다.
• 환자별 INR 반응에 따라 동적으로 복용량을 조절하는 순차적 의사결정 프레임워크를 개발하여 장기적인 치료 결과를 향상시키고자 한다.
• 다양한 PK/PD 모델 구조에서 DRL 기반 복용량 지침의 강건성과 일반화 능력을 평가하고자 한다.
• 의료 결정 지원 시스템에 해석 가능한 AI 기반 복용량 조절 시스템을 구현할 수 있는지의 가능성과 한계를 탐색하고자 한다.

제안 방법

• 복용량 문제를 마르코프 결정 과정(MDP)으로 모델링하며, 상태는 환자 특성과 INR 값, 행동은 복용량 조정을 나타낸다.
• 딥 Q넷(DQN)을 사용해 최적 행동가치 함수를 근사함으로써, 에이전트가 시뮬레이션된 PK/PD 환경과의 시험·오류 상호작용을 통해 최적의 복용량 정책을 학습할 수 있도록 한다.
• 햄버그 등이 제시한 PK/PD 모델을 사용해 가상 환자 내 복용량-반응 동역학을 시뮬레이션하며, 연령, CYP2C9 및 VKORC1 유전자형과 같은 공변량을 포함한다.
• PK/PD 모델에서 생성된 시뮬레이션 데이터를 기반으로 DRL 에이전트를 훈련시키며, 경험 재생과 타겟 네트워크를 활용해 훈련의 안정성과 수렴성을 향상시킨다.
• 강건성을 평가하기 위해 훈련된 정책을 두 번째로 구조가 다른 PK/PD 모델(1 compartment 대비 2 compartment)에 적용하여 성능 일관성을 평가한다.
• 대표성이 떨어지는 환자 유형의 학습을 향상시키기 위해, 환자 민감도 수준 간 훈련 분포를 균형 잡기 위해 클래스 오버샘플링 기법을 적용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 시뮬레이션 환경에서 기존 임상 지침보다 뛰어난 워파린 복용량 정책을 학습할 수 있는가?
• RQ2 DRL 기반 복용량 지침의 성능은 특히 매우 민감한 개인에서 어떻게 변화하는가?
• RQ3 다른 PK/PD 모델 구조로 이식되었을 때 DRL 정책이 강건성과 일반화 능력을 유지하는가?
• RQ4 가상 환자 데이터를 시뮬레이션하여 소규모 임상 시험 데이터셋의 한계를 얼마나 효과적으로 보완할 수 있는가?
• RQ5 실제 임상 현장에서 이러한 DRL 기반 시스템을 구현할 때 주로 해석 가능성과 의료진 신뢰도 문제로 나타나는 주요 과제는 무엇인가?

주요 결과

• 제안된 DRL 기반 복용량 조절 모델은 특히 민감도가 높은 환자에서 기존 임상 지침보다 뚜렷이 높은 치료 범위 내 머무름 시간(TTR)을 달성하여 뛰어난 성능을 보였다.
• 일반 환자에서는 더 빠른 PTTR 수렴을 달성했지만, 오버샘플링과 같은 타겟된 훈련 기법을 통해 민감한 환자에서 성능을 향상시켰다.
• 두 번째로 구조가 다른 PK/PD 모델(1 compartment 대비 2 compartment)에서 테스트한 결과, DRL 정책는 기준선 프로토콜과 유사한 성능을 유지하여 강건성을 입증했다.
• PK/PD 모델을 시뮬레이터로 사용함으로써 소규모 임상 시험 크기의 한계를 극복하고 대규모이고 다양한 가상 환자 반응 데이터셋을 생성할 수 있었다.
• 강력한 성능에도 불구하고, 모델의 블랙박스 성향으로 인해 규칙 기반 또는 회귀 기반 지침과 비교해 해석이 어려워 임상 적용에 도전 과제가 있다.
• 의료진이 개입할 수 있는 AI 기반 시스템의 잠재력을 강조하며, AI가 추천을 제공하지만 인간이 수정할 수 있는 구조는 신뢰도와 안전성을 향상시킬 수 있다.