[논문 리뷰] Dynamic Control of Stochastic Evolution: A Deep Reinforcement Learning Approach to Adaptively Targeting Emergent Drug Resistance

Dalit Engelhardt|arXiv (Cornell University)|2019. 03. 27.

Evolution and Genetic Dynamics인용 수 12

한 줄 요약

이 논문은 확률적이고 이질적인 생물학적 시스템에서 나타나는 약물 내성 세포 집단을 억제하기 위해 동적으로 약물 투여량을 조절하는 딥 강화학습 기반의 적응형 피드백 제어 시스템인 CelluDose를 소개한다. 확률적 세포 증식 모델을 기반으로 훈련된 이 방법은 다양한 교란 상황에서도 내성 억제에 100% 성공을 거두었으며, 파rameter 불확실성에 대해 매우 높은 내성력을 보이며, 저용량 정밀 제어에서 기존 기준 정책보다 뛰어난 성능을 발휘한다.

ABSTRACT

The challenge in controlling stochastic systems in which low-probability events can set the system on catastrophic trajectories is to develop a robust ability to respond to such events without significantly compromising the optimality of the baseline control policy. This paper presents CelluDose, a stochastic simulation-trained deep reinforcement learning adaptive feedback control prototype for automated precision drug dosing targeting stochastic and heterogeneous cell proliferation. Drug resistance can emerge from random and variable mutations in targeted cell populations; in the absence of an appropriate dosing policy, emergent resistant subpopulations can proliferate and lead to treatment failure. Dynamic feedback dosage control holds promise in combatting this phenomenon, but the application of traditional control approaches to such systems is fraught with challenges due to the complexity of cell dynamics, uncertainty in model parameters, and the need in medical applications for a robust controller that can be trusted to properly handle unexpected outcomes. Here, training on a sample biological scenario identified single-drug and combination therapy policies that exhibit a 100% success rate at suppressing cell proliferation and responding to diverse system perturbations while establishing low-dose no-event baselines. These policies were found to be highly robust to variations in a key model parameter subject to significant uncertainty and unpredictable dynamical changes.

연구 동기 및 목표

• 확률적으로 발생하는 약물 내성 세포 집단을 억제할 수 있는 안정적이고 적응형 제어 정책을 개발하여 이질적인 생물학적 시스템에서 정밀 약물 투여를 실현하는 것.
• 높은 차원성, 비선형성, 높은 확률성을 지닌 생물학적 동역학을 다루는 데에 한계를 보이는 전통적 제어 방법의 한계를 극복하는 것.
• 예상치 못한 변동과 다양한 매개변수 변화에 일반화할 수 있는 강화학습 프레임워크를 설계하여 저용량, 고효능 치료를 유지하는 것.
• 실제 의료 현장 적용에서 신뢰할 수 있는 안정적이고 일반화 가능한 동적 약물 투여 제어 정책을 확립하는 것.

제안 방법

• CelluDose는 세포 집단 동역학의 확률적 시뮬레이션에서 유도된 적응형 피드백 제어 정책을 깊이 있는 결정적 정책 기반 강화학습(DDPG)을 통해 학습한다.
• 상태 공간은 다양한 표현형 하위집단의 세포 농도와 총 성장률을 포함하며, 행동은 이산 시간 단위에서의 약물 투여량 조정을 나타낸다.
• 사용자 정의 보상 함수는 치료 성공(세포 집단 억제), 비용 최소화(저용량 약물 투여), 교란에 대한 내성력 간 균형을 맞추며, 치료 실패에 대한 벌점과 지속적인 억제에 대한 보상이 포함된다.
• 특징 공학은 세포 농도의 로그 변환과 성장률 정규화를 포함하여, 수개의 주기수 범위에서 훈련의 안정성과 수렴 성능 향상을 도모한다.
• 액터-크리틱 아키텍처는 잔차 연결과 ReLU 활성화 함수를 사용하며, 출력층은 하드 탄함을 통해 경계 설정되어 있어 0-용량 허용 기능을 보장하고 비최적 정책에 갇히는 것을 방지한다.
• 탐색은 파rameter를 조정한 온스타인-율리히 과정을 통해 유도되며, 훈련 중 안정성을 유지한다. 타겟 네트워크는 τ=0.001로 소프트 업데이트된다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 확률적이고 이질적인 시스템에서 나타나는 내성 세포 집단을 억제하는 안정적이고 적응형 피드백 제어 정책을 학습할 수 있는가?
• RQ2 학습된 정책은 돌연변이 빈도나 내성 수준과 같은 주요 모델 매개변수의 예상치 못한 변화에 대해 얼마나 잘 일반화되는가?
• RQ3 의도치 않은 시스템 교란 상황에서도 저용량 투여를 유지하면서도 효과적인 억제를 달성하고 치료 실패를 피할 수 있는가?
• RQ4 고확률성 생물학적 환경에서 안정적인 훈련과 수렴을 보장하기 위해 필요한 보상 형상화 및 네트워크 설계 선택은 무엇인가?

주요 결과

• CelluDose 에이전트는 다양한 초기 조건과 시스템 교란 상황, 예상치 못한 내성 발생 조건에서도 세포 증식 억제에 100% 성공률를 달성했다.
• 학습된 정책는 핵심 모델 매개변수(예: 돌연변이 빈도)의 변동성에 대해 매우 높은 내성력을 보이며, 심각한 불확실성 상황에서도 효과성을 유지했다.
• 저용량 투여와 효과적인 억제 간의 균형을 성공적으로 확립하여, 치료 성공의 저용량 무사고 기준을 설정했다.
• 액터 네트워크에 추가적인 은닉층을 도입하고, 양측 네트워크의 레이어를 좁게 설계함으로써 성능 향상과 과적합 방지를 극복했다.
• 세포 농도의 로그 변환과 성장률 정규화를 포함한 적절한 특징 스케일링이 안정적이고 효율적인 훈련에 결정적인 역할을 했다.
• 정적 하한 경계 분석 기반의 편향 초기화가 초기 훈련 단계에서 비최적의 0-용량 정책에 갇히는 것을 방지하여 효과적인 탐색을 가능하게 했다.