[논문 리뷰] Precision medicine as a control problem: Using simulation and deep reinforcement learning to discover adaptive, personalized multi-cytokine therapy for sepsis

Brenden K. Petersen, Jiachen Yang외 5명|arXiv (Cornell University)|2018. 02. 08.

Sepsis Diagnosis and Treatment참고 문헌 32인용 수 14

한 줄 요약

이 연구는 고도로 개인화된 다중 사이토카인 치료를 위해 생체 모의 실험(IIRABM)을 기반으로 한 에이전트 기반 내재 면역 반응 시뮬레이션을 제어하는 딥 강화학습(DDPG)을 사용하여 패혈증에 대한 적응형, 개인화된 다중 사이토카인 요법을 제안한다. 이 방법은 훈련 환자에서 0%의 사망률을 기록했고, 기저 사망률이 1–99%인 500개의 다양한 환자 파rameterization에서 평균 0.8%의 사망률을 기록하여, 피드백 기반의 동적 사이토카인 조절이 패혈증 진행 경로를 제어할 잠재력을 보여준다.

ABSTRACT

Sepsis is a life-threatening condition affecting one million people per year in the US in which dysregulation of the body's own immune system causes damage to its tissues, resulting in a 28 - 50% mortality rate. Clinical trials for sepsis treatment over the last 20 years have failed to produce a single currently FDA approved drug treatment. In this study, we attempt to discover an effective cytokine mediation treatment strategy for sepsis using a previously developed agent-based model that simulates the innate immune response to infection: the Innate Immune Response agent-based model (IIRABM). Previous attempts at reducing mortality with multi-cytokine mediation using the IIRABM have failed to reduce mortality across all patient parameterizations and motivated us to investigate whether adaptive, personalized multi-cytokine mediation can control the trajectory of sepsis and lower patient mortality. We used the IIRABM to compute a treatment policy in which systemic patient measurements are used in a feedback loop to inform future treatment. Using deep reinforcement learning, we identified a policy that achieves 0% mortality on the patient parameterization on which it was trained. More importantly, this policy also achieves 0.8% mortality over 500 randomly selected patient parameterizations with baseline mortalities ranging from 1 - 99% (with an average of 49%) spanning the entire clinically plausible parameter space of the IIRABM. These results suggest that adaptive, personalized multi-cytokine mediation therapy could be a promising approach for treating sepsis. We hope that this work motivates researchers to consider such an approach as part of future clinical trials. To the best of our knowledge, this work is the first to consider adaptive, personalized multi-cytokine mediation therapy for sepsis, and is the first to exploit deep reinforcement learning on a biological simulation.

연구 동기 및 목표

• 적응형, 개인화된 다중 사이토카인 요법이 패혈증 진행을 효과적으로 제어하고 사망률을 감소시킬 수 있는지 조사하기.
• 고정된 복용량과 투여 시간을 사용하는 단일 사이토카인, 정적 치료법으로 실패한 과거 패혈증 임상 시험의 문제를 해결하기.
• 전신 환자 측정치를 기반으로 한 피드백 기반의 동적 치료 전략이 전통적 접근 방식을 능가할 수 있는지 탐색하기.
• 학습된 치료 정책이 다양한 임상적으로 타당한 환자 조건에 걸쳐 일반화 가능성과 강건성을 평가하기.
• 딥 강화학습을 사용하여 복잡한 생물학적 시뮬레이션을 제어하고 정밀의료를 위한 새로운 프레임워크를 구축하기.

제안 방법

• 다중 사이토카인 치료 정책을 최적화하기 위해 딥 디터미니스틱 정책 그래디언트(DDPG) 알고리즘을 사용하여 강화학습 에이전트를 훈련시켰다.
• 치료 정책은 실시간 전신 환자 측정치를 입력으로 사용하여 피드백 루프에서 사이토카인 조절을 동적으로 조정한다.
• IIRABM 시뮬레이션은 면역 세포와 사이토카인 간의 에이전트 기반 상호작용을 모델링하여 감염에 대한 내재 면역 반응을 시뮬레이션한다.
• 행동 공간은 각 시간 단계에서 여러 사이토카인(예: IL-1, IFN-γ, IL-10)의 상향 조절 또는 억제를 포함한다.
• 환경는 한 명의 환자 파rameterization에서 훈련되었고, 기저 사망률이 1%에서 99%까지 다양하게 설정된 500명의 무작위로 샘플링된 환자에서 평가되었다.
• 생존 결과를 기반으로 정책을 평가하였으며, 사망률이 주요 보상 신호로 사용되었다.

실험 결과

연구 질문

• RQ1 적응형 피드백 기반 다중 사이토카인 요법이 고정된 단일 사이토카인 간섭 대비 패혈증 사망률을 유의미하게 감소시킬 수 있는가?
• RQ2 한 명의 환자 프로파일에서 훈련된 딥 강화학습 정책이 다양한 환자 특화 패혈증 진행 경로로 일반화되는가?
• RQ3 시뮬레이션 기반 접근 방식이 전통적 임상 시험 설계로는 실현 불가능한 치료 전략을 발견할 수 있는가?
• RQ4 효과적인 개인화된 면역 조절 정책의 정성적 및 정량적 특성은 무엇인가?
• RQ5 데이터 기반 적응형 제어를 사용하여 복잡하고 동적인 생물학적 시스템에서 거의 0%의 사망률을 달성할 수 있는가?

주요 결과

• 딥 강화학습 정책은 훈련에 사용된 환자 파rameterization에서 0%의 사망률을 기록하여, 해당 경우에서 패혈증 진행을 완전히 제어했다는 것을 나타낸다.
• 기저 사망률이 1%에서 99%까지 다양하게 설정된 500명의 무작위로 선택된 환자 파rameterization에서 평균 기저 사망률 49%를 기준으로 정책은 0.8%의 사망률을 기록했다.
• 정책은 적응형 행동을 보였으며, 초기 손상 수준이 높은 환자에서는 IL-1과 같은 프로염증성 사이토카인의 억제를 지연시키는 방식으로 생물학적 직관을 반영했다.
• 정책은 다수의 사이토카인에 대해 시간에 따라 변화하는 조절을 보였으며, 초기에는 상향 조절하고 후기에는 억제하는 방식으로 면역계의 동역학과 일치했다.
• 결과적으로, 고사망률 시나리오에서도 개인화된 적응형 다중 사이토카인 요법이 패혈증에 대한 실현 가능한 전략일 수 있음을 시사한다.
• 이 연구는 딥 강화학습을 생물학적 시뮬레이션 제어에 적용하고, 패혈증에 대해 적응형 개인화 다중 사이토카인 요법을 제안한 최초의 연구이다.