[논문 리뷰] Deep Reinforcement Learning for Dynamic Treatment Regimes on Medical Registry Data

Ning Liu, Ying Liu외 4명|arXiv (Cornell University)|2018. 01. 28.

Advanced Causal Inference Techniques참고 문헌 23인용 수 9

한 줄 요약

이 논문은 고차원의 관찰 데이터를 기반으로 최적의 동적 치료 제도(DTRs)를 학습하기 위해 새로운 딥 강화학습(DRL) 프레임워크를 제안한다. 이는 두 단계의 접근 방식을 사용한다: 전문가 행동을 예측하기 위한 지도 학습 기반 딥 뉴럴 네트워크와 장기적인 가치 함수를 추정하기 위한 DRL. 이 방법은 이식 후 간성 대 이식 반응병변(GVHD) 관리에 사용된 CIBMTR 데이터에서 평가되었으며, 전문가 결정을 높은 정확도로 예측하고, 더 높은 기대 보상과 함께 개인 맞춤형 치료 전략을 식별하는 데 성공했다.

ABSTRACT

This paper presents the first deep reinforcement learning (DRL) framework to estimate the optimal Dynamic Treatment Regimes from observational medical data. This framework is more flexible and adaptive for high dimensional action and state spaces than existing reinforcement learning methods to model real-life complexity in heterogeneous disease progression and treatment choices, with the goal of providing doctor and patients the data-driven personalized decision recommendations. The proposed DRL framework comprises (i) a supervised learning step to predict the most possible expert actions, and (ii) a deep reinforcement learning step to estimate the long-term value function of Dynamic Treatment Regimes. Both steps depend on deep neural networks. As a key motivational example, we have implemented the proposed framework on a data set from the Center for International Bone Marrow Transplant Research (CIBMTR) registry database, focusing on the sequence of prevention and treatments for acute and chronic graft versus host disease after transplantation. In the experimental results, we have demonstrated promising accuracy in predicting human experts' decisions, as well as the high expected reward function in the DRL-based dynamic treatment regimes.

연구 동기 및 목표

• 복잡한 고차원 임상 의사결정 환경에서 동적 치료 제도(DTRs)를 최적화하기 위한 확장 가능하고 데이터 기반의 프레임워크를 개발하는 것.
• 임의 배정 시험(SMARTs)에서 유도된 단순화된 저차원 상태 및 행동 공간에 의존하는 기존 DTR 방법의 한계를 해결하는 것. 이러한 방법들은 실제 관찰 데이터에는 일반화되지 않는다.
• 딥 뉴럴 네트워크를 활용해 자동 표현 학습을 수행함으로써 수작업 기반의 특징 공학 및 도메인 특화 단순화에 의존도를 줄이는 것.
• 실제 의료 레지스트리 데이터(예: CIBMTR)를 활용해 이질적인 환자 집단에서 개인 맞춤형 장기적 결과 최적화를 가능하게 하는 것.
• 이식 후 합병증인 간성 대 이식 반응병변(GVHD)과 같은 복잡한 임상 문제에 대해 DRL의 실현 가능성과 효과성을 입증하는 것.

제안 방법

• 프레임워크는 두 단계의 파이프라인을 사용한다: 첫 번째 단계에서는 지도 학습 기반 딥 뉴럴 네트워크가 환자의 상태 특징을 기반으로 가장 가능성 높은 전문가 행동을 예측한다.
• 두 번째 단계에서는 복잡한 상태 공간에서의 장기적 가치 함수를 추정하기 위해 딥 Q-네트워크(DQN)를 훈련한다. 이 과정에서 학습 안정화를 위해 리PLAY 버퍼를 사용하고 수렴성을 향상시키기 위해 타겟 네트워크를 도입한다.
• 상태 표현은 차원을 줄이면서도 임상적 분류 능력을 유지하는 데 효과적인 입력 인코딩 기법을 사용하여 표현한다.
• DRL 구성 요소는 8개의 입력 뉴런, 두 개의 은닉층(각각 32개 및 64개 뉴런)을 가지며, 급성 및 만성 GVHD 치료에 각각 283개와 271개의 출력 뉴런을 갖는 다층 완전 연결 신경망을 사용한다.
• 지연된 이산화된 보상 함수는 다섯 가지 결과 유형으로 정의된다: 재발 없이 생존(보상 1.0), GVHD 동반 생존(0.8), 재발(0.2), 사망(0.0), 데이터 손실(미래 가치 추정을 통해 보간됨).
• 알고리즘은 경험 재생 및 느슨하게 추적하는 파rameter(τ = 0.01)를 사용한 타겟 네트워크 업데이트를 통해 학습 안정성과 정책 분리 방지를 높인다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 고차원의 실세계 관찰 의료 데이터(예: 레지스트리 데이터베이스)로부터 최적의 동적 치료 제도를 효과적으로 학습할 수 있는가?
• RQ2 딥 뉴럴 네트워크는 시간에 따라 변화하는 복잡한 치료 시퀀스에서 전문가 임상 결정을 얼마나 잘 예측할 수 있는가?
• RQ3 DRL 프레임워크는 4년간 재발 없이 생존하면서 GVHD가 최소화되는 등의 장기 임상 결과를 최대화하는 개인 맞춤형 치료 전략을 식별할 수 있는가?
• RQ4 제안된 프레임워크는 이질적인 의사결정 단계와 고차원 치료 옵션을 다루는 데 기존의 DTR 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 장기적인 의료 기록에서 케이싱 및 누락된 추적 데이터가 있는 상황에서 DRL 프레임워크는 얼마나 강건한가?

주요 결과

• 지도 학습 기반 딥 뉴럴 네트워크는 인간 전문가의 치료 결정을 매우 높은 정확도로 예측하여, 실제 데이터에서 임상 의사결정 패턴을 효과적으로 포착할 수 있음을 입증했다.
• DRL 프레임워크는 기준 전략보다 유의미하게 높은 기대 장기 보상을 달성하는 최적의 치료 정책을 성공적으로 학습하여 임상 결과 예측의 향상 가능성을 시사했다.
• 생존, GVHD 상태, 재발, 사망 결과를 통합한 이산화된 보상 함수의 사용은 다면적이고 복잡한 임상 결과를 효과적으로 모델링할 수 있게 하였다.
• 경험 재생과 타겟 네트워크 통합은 학습 안정성과 수렴성을 향상시켜 고차원 상태 및 행동 공간에서 신뢰할 수 있는 학습을 가능하게 하였다.
• 프레임워크는 CIBMTR 레지스트리와 같이 이질적인 환자 궤적과 치료 시퀀스를 포함한 실세계 임상 데이터에 대해 확장성과 적응성을 입증하였다.
• 미래 가치 추정을 통한 보간을 통해 케이싱 및 누락된 데이터를 효과적으로 처리하여, 불완전한 기록을 버리지 않고도 성능를 유지하였다.