[논문 리뷰] COVID-19 Pandemic Cyclic Lockdown Optimization Using Reinforcement Learning

Mauricio Andrés Polochè Arango, Lyudmil Pelov|arXiv (Cornell University)|2020. 09. 10.

COVID-19 epidemiological studies참고 문헌 20인용 수 13

한 줄 요약

이 논문은 확산 모델을 시뮬레이터로 사용하는 확장된 SEIR 전염병 모델을 기반으로 코로나19 팬데믹 기간 동안 순환적 봉쇄 정책을 최적화하기 위해 강화학습(RL) 기반의 온오프 컨트롤러를 제안한다. RL 에이전트는 공중보건(중환자실 과잉 사용 방지)과 사회경제적 목표(봉쇄 기간 단축)를 균형 있게 유지하도록 학습하며, 시뮬레이션에서 히وري스틱 전략보다 우수한 최적의 순환적 시기 조절을 달성한다.

ABSTRACT

This work examines the use of reinforcement learning (RL) to optimize cyclic lockdowns, which is one of the methods available for control of the COVID-19 pandemic. The problem is structured as an optimal control system for tracking a reference value, corresponding to the maximum usage level of a critical resource, such as ICU beds. However, instead of using conventional optimal control methods, RL is used to find optimal control policies. A framework was developed to calculate optimal cyclic lockdown timings using an RL-based on-off controller. The RL-based controller is implemented as an RL agent that interacts with an epidemic simulator, implemented as an extended SEIR epidemic model. The RL agent learns a policy function that produces an optimal sequence of open/lockdown decisions such that goals specified in the RL reward function are optimized. Two concurrent goals were used: the first one is a public health goal that minimizes overshoots of ICU bed usage above an ICU bed threshold, and the second one is a socio-economic goal that minimizes the time spent under lockdowns. It is assumed that cyclic lockdowns are considered as a temporary alternative to extended lockdowns when a region faces imminent danger of overpassing resource capacity limits and when imposing an extended lockdown would cause severe social and economic consequences due to lack of necessary economic resources to support its affected population during an extended lockdown.

연구 동기 및 목표

• 팬데믹 기간 동안 최적의 순환적 봉쇄 시기를 결정하는 RL 기반 제어 시스템을 개발하는 것.
• 중환자실 침대 사용량이 용량 한계를 초과하는 것을 최소화하여 의료 시스템의 지속 가능성 확보.
• 전체 봉쇄 기간을 단축시켜 사회경제적 피해를 최소화하는 것.
• 히وري스틱 또는 고정 간격 봉쇄 정책에 대한 데이터 기반 대안을 제공하는 것.
• 팬데믹 관리에서 공중보건 안전성과 경제적 비용 간의 상호 교환 관계를 평가하는 것.

제안 방법

• 확장된 SEIR 전염병 모델이 인구 및 간섭 요동의 역학을 고려해 전염병 확산을 시뮬레이션한다.
• 강화학습 에이전트가 온오프 컨트롤러로 기능하여 봉쇄를 시작하거나 종료할 시기를 결정한다.
• RL 에이전트는 공중보건 및 사회경제적 목표를 통합한 조밀한 보상 함수를 수신한다.
• 함수 근사와 함께 Q-학습을 사용하여 시간이 지남에 따라 최적의 정책을 학습한다.
• 환경은 현재 중환자실 점유율, 감염률, 마지막 봉쇄 이후 경과 시간 등의 상태 관측치를 제공한다.
• 에이전트의 정책은 누적 페널티를 최소화하기 위해 전염병 시뮬레이터와의 상호작용을 통해 훈련된다.

실험 결과

연구 질문

• RQ1 강화학습이 중환자실 과잉 사용을 방지하기 위해 순환적 봉쇄 시기를 효과적으로 최적화할 수 있는가?
• RQ2 히وري스틱 또는 고정 간격 봉쇄 전략에 비해 RL 기반 컨트롤러는 중환자실 과잉 사용을 얼마나 줄일 수 있는가?
• RQ3 RL 최적화 순환 봉쇄를 통해 공중보건과 경제적 비용 간의 어떤 상호 교환 관계를 달성할 수 있는가?
• RQ4 ICU 용량 한계 및 전파율 변화에 대해 RL 정책은 얼마나 민감한가?
• RQ5 RL 에이전트는 건강과 경제 목표를 균형 있게 유지하는 안정적인 순환 패턴의 봉쇄를 학습할 수 있는가?

주요 결과

• RL 기반 컨트롤러는 기준 히وري스틱 정책에 비해 중환자실 침대 사용량의 과잉 사용을 크게 줄였다.
• 에이전트는 중환자실 용량을 안전한 수준 이내로 유지하면서도 총 봉쇄 기간을 40% 감소시켰다.
• RL 에이전트가 학습한 정책은 안정적인 순환 행동을 보였으며, 일관된 봉쇄 간격과 지속 시간을 유지했다.
• 보상 함수 설계가 공중보건과 사회경제적 목표를 성공적으로 균형 잡아, 극단적인 정책 진동을 방지했다.
• 다양한 전파율 시나리오와 ICU 용량 한계에서 메서드가 뛰어난 내성적 특성을 보였다.
• 건강 및 경제 성과 지표 모두에서 고정 간격 및 임계값 기반 제어 전략에 비해 RL 에이전트가 뛰어난 성능을 보였다.