[논문 리뷰] Personalized Medical Treatments Using Novel Reinforcement Learning Algorithms

Yousuf Soliman|arXiv (Cornell University)|2014. 06. 16.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 기대 생존 시간을 최대화하기 위해 변동하는 단계 수와 케이서드된 다단계 의사결정 문제에 동적으로 대응할 수 있는 개인 맞춤 의료 치료 정책을 위한 새로운 케이서드 Q-학습 알고리즘을 제안한다. 이 방법은 유한한 오차 한계를 제공하며, 최적의 Q-함수가 근사 공간 내에 있을 경우 최적의 치료 경로로 수렴한다. 시뮬레이션과 실제 데이터에서 기존 최첨단 임상 의사결정 지원 시스템보다 뛰어난 성능을 보였다.

ABSTRACT

In both the fields of computer science and medicine there is very strong interest in developing personalized treatment policies for patients who have variable responses to treatments. In particular, I aim to find an optimal personalized treatment policy which is a non-deterministic function of the patient specific covariate data that maximizes the expected survival time or clinical outcome. I developed an algorithmic framework to solve multistage decision problem with a varying number of stages that are subject to censoring in which the "rewards" are expected survival times. In specific, I developed a novel Q-learning algorithm that dynamically adjusts for these parameters. Furthermore, I found finite upper bounds on the generalized error of the treatment paths constructed by this algorithm. I have also shown that when the optimal Q-function is an element of the approximation space, the anticipated survival times for the treatment regime constructed by the algorithm will converge to the optimal treatment path. I demonstrated the performance of the proposed algorithmic framework via simulation studies and through the analysis of chronic depression data and a hypothetical clinical trial. The censored Q-learning algorithm I developed is more effective than the state of the art clinical decision support systems and is able to operate in environments when many covariate parameters may be unobtainable or censored.

연구 동기 및 목표

• 다단계의 케이서드된 임상 의사결정 문제에서 기대 생존 시간을 최적화하는 개인 맞춤 치료 정책을 위한 강화 학습 프레임워크를 개발하는 것.
• 실제 의료 환경에서 흔한 변동하는 치료 단계 수와 케이서드된 데이터에 도전하는 것.
• 환자별 특성에 따라 비결정적인 함수로 구성된 치료 정책을 수립하여 개인의 치료 반응 차이를 반영하는 것.
• 제안된 알고리즘의 성능에 대한 이론적 보장을 확보하는 것, 특히 일반화 오차에 대한 유한한 상한을 제공하는 것.
• 모의 실험과 실제 데이터 적용에서 기존 임상 의사결정 지원 시스템에 비해 알고리즘이 뛰어난 성능을 보임을 입증하는 것.

제안 방법

• 다양한 단계 수와 케이서드된 보상을 갖는 다단계 의사결정 문제에 특화된 새로운 Q-학습 알고리즘을 개발한다.
• 완전하지 않은 생존 시간 관측치를 고려하기 위해 Q-함수 업데이트 규칙을 수정함으로써 케이서딩과 변동하는 단계 구조에 동적으로 대응한다.
• Q-함수에 대한 근사 공간을 사용하고, 최적의 Q-함수가 이 공간 내에 있을 경우 최적의 치료 경로로 수렴함을 증명한다.
• 구축된 치료 경로의 일반화 오차에 대한 유한한 상한을 유도하여 이론적 안정성을 확보한다.
• 모의 데이터, 만성 우울증 데이터, 그리고 가상의 임상 시험에 알고리즘을 적용하여 실제 세계의 제약 조건 하에서의 성능을 검증한다.
• 기대 생존 시간을 보상 함수로 정의하고, 오른쪽 케이서드된 생존 결과를 처리하기 위해 학습 업데이트를 조정한다.

실험 결과

연구 질문

• RQ1 강화 학습 알고리즘이 케이서드된 생존 결과가 있는 다단계 임상 의사결정 문제에서 최적의 개인 맞춤 치료 정책을 효과적으로 학습할 수 있는가?
• RQ2 제안된 케이서드 Q-학습 알고리즘은 기대 생존 시간 측면에서 기존 최첨단 임상 의사결정 지원 시스템에 비해 어떻게 성능을 내는가?
• RQ3 케이서딩과 변동하는 단계 수 조건 하에서, 알고리즘이 생성한 치료 경로의 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 최적의 Q-함수가 근사 공간 내에 있을 경우, 알고리즘이 최적의 치료 정책으로 수렴하는 조건은 무엇인가?
• RQ5 알고리즘은 누락되거나 확보할 수 없는 공변량 데이터를 처리할 수 있으며, 이러한 환경에서 성능을 유지할 수 있는가?

주요 결과

• 제안된 케이서드 Q-학습 알고리즘은 시뮬레이션과 실제 데이터 연구에서 기존 임상 의사결정 지원 시스템보다 더 높은 기대 생존 시간을 달성한다.
• 치료 경로의 일반화 오차에 대한 유한한 상한이 확립되어 알고리즘 성능에 대한 이론적 신뢰를 제공한다.
• 최적의 Q-함수가 근사 공간 내에 있을 경우, 알고리즘이 구축한 치료 제도는 최적의 치료 경로로 수렴한다.
• 알고리즘은 누락되거나 케이서드된 공변량 데이터가 있는 환경에서도 효과적으로 작동하여 기존 시스템이 실패할 수 있는 상황에서도 강건성을 유지한다.
• 만성 우울증 데이터와 가상의 임상 시험에 대한 실증 검증을 통해 알고리즘의 실용성과 복잡한 실제 세계 환경에서의 뛰어난 성능을 확인하였다.
• 알고리즘은 변동하는 치료 단계 수와 케이서드된 생존 결과에 강력한 적응력을 보이며, 모든 시험 환경에서 현재 기준보다 뛰어난 성능을 보였다.