[논문 리뷰] Multi-Objective Reinforcement Learning for Infectious Disease Control with Application to COVID-19 Spread

Runzhe Wan, Xinyu Zhang외 1명|arXiv (Cornell University)|2020. 09. 09.

COVID-19 epidemiological studies참고 문헌 45인용 수 4

한 줄 요약

이 논문은 전염병 유행 기간 동안 질병 통제와 경제적 비용을 균형 잡는 데 목적이 있는 모델 기반 다목적 강화학습 프레임워크를 제안한다. 베이지안 전염병학 모델과 파레토 최적 정책 계획을 통합하여 장기적 사회적 비용을 최소화하는 실시간 의사결정 지원을 가능하게 한다. 중국의 코로나19 데이터에 적용된 결과, 다양한 개입 전략에 대한 예측 밴드를 생성함으로써 실시간 의사결정 지원이 가능해졌다.

ABSTRACT

Severe infectious diseases such as the novel coronavirus (COVID-19) pose a huge threat to public health. Stringent control measures, such as school closures and stay-at-home orders, while having significant effects, also bring huge economic losses. A crucial question for policymakers around the world is how to make the trade-off and implement the appropriate interventions. In this work, we propose a Multi-Objective Reinforcement Learning framework to facilitate the data-driven decision making and minimize the long-term overall cost. Specifically, at each decision point, a Bayesian epidemiological model is first learned as the environment model, and then we use the proposed model-based multi-objective planning algorithm to find a set of Pareto-optimal policies. This framework, combined with the prediction bands for each policy, provides a real-time decision support tool for policymakers. The application is demonstrated with the spread of COVID-19 in China.

연구 동기 및 목표

• 전염병 유행 기간 동안 공중보건 결과와 경제적 영향을 균형 잡는 데 도전하는 문제를 해결하기 위해.
• 전염병 전파 및 개입 효과에 대한 불확실성을 고려한 데이터 기반 의사결정 지원 시스템을 개발하기 위해.
• 파레토 최적 개입 전략을 통해 정책 입안자가 건강 비용과 경제적 비용 간의 상호 교환 관계를 평가할 수 있도록 하기 위해.
• 예측 밴드를 통한 불확실성 정량화를 통해 장기적 예측을 고려한 실시간 예측 기반 정책 권고를 제공하기 위해.

제안 방법

• 각 의사결정 시점에서 현재 전염병 전파 상태를 나타내기 위해 베이지안 전염병학 모델을 학습한다.
• 경쟁하는 목표를 균형 잡는 파레토 최적 정책의 집합을 식별하기 위해 모델 기반 다목적 계획 알고리즘을 사용한다.
• 각 정책에 대한 예측 밴드를 통합하여 시간에 따른 결과의 불확실성을 정량화한다.
• 관측된 데이터를 반복적으로 사용하여 환경 모델을 업데이트함으로써 변화하는 유행 역학에 대한 온라인 적응을 가능하게 한다.
• 감염 부담과 경제적 혼란을 포함한 장기적 비용에 대해 다목적 최적화를 수행한다.
• 다양한 목표 간의 상호 교환 성능에 기반해 정책을 순위 매김함으로써 실시간 의사결정을 지원한다.

실험 결과

연구 질문

• RQ1 다목적 강화학습은 유행 기간 동안 질병 통제와 경제적 비용을 균형 잡는 개입 전략을 어떻게 식별할 수 있는가?
• RQ2 예측 밴드를 통한 불확실성 정량화는 유행 역학 하에서 견고한 정책 결정을 뒷받침하는 데 어떤 역할을 하는가?
• RQ3 제안된 모델 기반 프레임워크는 단일 목표 또는 히وري스틱 접근 방식에 비해 장기적 사회적 비용을 얼마나 효과적으로 최소화하는가?
• RQ4 이 프레임워크는 실제 공중보건 개입의 상호 교환 관계를 반영하는 실용적이고 파레토 최적의 정책을 생성할 수 있는가?

주요 결과

• 이 프레임워크는 중국의 코로나19 유행 기간 동안 감염 통제와 경제적 영향을 균형 잡는 파레토 최적 정책의 집합을 성공적으로 식별하였다.
• 각 정책에 대한 예측 밴드는 신뢰할 수 있는 불확실성 정량화를 제공하여 정책 입안자들의 신뢰도와 해석 가능성 향상에 기여하였다.
• 모델 기반 접근은 반복적인 환경 모델 업데이트를 통해 변화하는 유행 조건에 대한 실시간 적응을 가능하게 하였다.
• 베이지안 모델링과 다목적 계획의 통합은 단일 목표 대안에 비해 더 견고하고 데이터 기반의 정책 권고를 이끌어냈다.
• 이 방법은 의사결정자들에게 정량화된 상호 교환 관계를 반영한 실용적인 개입 전략을 생성함으로써 실용적 유용성을 입증하였다.