[논문 리뷰] A Deep Q-learning/genetic Algorithms Based Novel Methodology For Optimizing Covid-19 Pandemic Government Actions

Luis Miralles‐Pechuán, Fernando Jiménez외 2명|arXiv (Cornell University)|2020. 05. 15.

COVID-19 epidemiological studies참고 문헌 37인용 수 7

한 줄 요약

이 논문은 코로나19 팬데믹 기간 동안 정부 조치를 최적화하기 위해 딥 강화학습과 유전 알고리즘의 하이브리드 프레임워크를 제안한다. SEIR 모델을 사용해 질병 전파를 시뮬레이션하고, 의료 수용 능력과 경제적 영향을 균형 잡는 보상 체계를 적용한다. 딥 Q-러닝(DQL)은 모든 실험에서 유전 알고리즘(GA)을 능가했으며, 특히 복잡한 제약 조건 하에서도 감염 수와 경제적 피해를 최소화하는 데 효과적이고 안정적인 조치 시퀀스를 최적화하는 데 성공했다.

ABSTRACT

Whenever countries are threatened by a pandemic, as is the case with the COVID-19 virus, governments should take the right actions to safeguard public health as well as to mitigate the negative effects on the economy. In this regard, there are two completely different approaches governments can take: a restrictive one, in which drastic measures such as self-isolation can seriously damage the economy, and a more liberal one, where more relaxed restrictions may put at risk a high percentage of the population. The optimal approach could be somewhere in between, and, in order to make the right decisions, it is necessary to accurately estimate the future effects of taking one or other measures. In this paper, we use the SEIR epidemiological model (Susceptible - Exposed - Infected - Recovered) for infectious diseases to represent the evolution of the virus COVID-19 over time in the population. To optimize the best sequences of actions governments can take, we propose a methodology with two approaches, one based on Deep Q-Learning and another one based on Genetic Algorithms. The sequences of actions (confinement, self-isolation, two-meter distance or not taking restrictions) are evaluated according to a reward system focused on meeting two objectives: firstly, getting few people infected so that hospitals are not overwhelmed with critical patients, and secondly, avoiding taking drastic measures for too long which can potentially cause serious damage to the economy. The conducted experiments prove that our methodology is a valid tool to discover actions governments can take to reduce the negative effects of a pandemic in both senses. We also prove that the approach based on Deep Q-Learning overcomes the one based on Genetic Algorithms for optimizing the sequences of actions.

연구 동기 및 목표

• 팬데믹 기간 동안 정부가 최적의 공중보건 조치 시퀀스를 선택하는 데 도움이 되는 방법론을 개발하는 것.
• 서로 충돌하는 두 가지 목표를 균형 잡는 것: 병원 과잉 운영을 최소화하고, 제한 조치로 인한 장기적 경제적 손해를 줄이는 것.
• 딥 Q-러닝(DQL)과 유전 알고리즘(GA) 중 어느 것이 다양한 제약 조건 하에서 조치 시퀀스를 더 잘 최적화하는지 평가하는 것.
• 의료 시스템 과잉 운영과 장기적인 제한 조치를 모두 방지하기 위해 보상 체계를 설계하는 것.
• 점차 복잡도가 증가하는 여러 시나리오에서 메서드를 테스트하여 확장성과 내구성을 평가하는 것.

제안 방법

• SEIR(Susceptible-Exposed-Infectious-Recovered) 모델은 인구 내에서 SARS-CoV-2 전파 역학을 시간에 따라 시뮬레이션한다.
• 맞춤형 보상 함수는 두 가지 목표에 기반해 조치 시퀀스를 평가한다: 집중치료실(ICU) 입원 수를 수용 능력 이하로 유지하고, 제한 조치의 지속 기간을 최소화하는 것.
• 딥 Q-러닝(DQL)은 심층 신경망을 통해 Q-값을 근사하고 벨먼 방정식을 적용하여 최적의 조치 정책을 학습한다.
• 유전 알고리즘(GA)은 선택, 교차 및 변이를 사용해 조치 시퀀스의 집단을 진화시켜 누적 보상을 최대화한다.
• 정규 표현식 제약 조건은 조치 시퀀스가 논리적인 진행 순서를 따르도록 보장한다: 제한적 → 덜 제한적 → 완화, 비준수 시퀀스는 징벌한다.
• 실험은 복잡도가 점차 증가하는 세 가지 시나리오에서 수행되며, 더 엄격한 제약 조건과 더 긴 계획 기간이 포함된다.

실험 결과

연구 질문

• RQ1 DQL/GA 하이브리드 접근 방식이 공중보건과 경제적 결과를 균형 잡는 팬데믹 기간 동안 정부 조치 시퀀스를 효과적으로 최적화할 수 있는가?
• RQ2 딥 Q-러닝이 다목적 팬데믹 대응 정책 최적화에서 유전 알고리즘보다 성능이 뛰어나게 되는가?
• RQ3 구조적 제약 조건(예: 조치 시퀀스 패턴)을 추가함으로써 솔루션의 안정성과 품질이 얼마나 향상되는가?
• RQ4 보상 체계의 복잡도가 증가할수록 DQL과 GA의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 DQL이 상태-행동 간 의존성을 모델링할 수 있는 능력이 GA의 히우리스틱 검색보다 더 안정적이고 높은 성능의 솔루션을 도출하는 데 기여하는가?

주요 결과

• 딥 Q-러닝(DQL)은 모든 세 가지 실험 시나리오에서 일관되게 유전 알고리즘(GA)을 능가했으며, 실험 III에서 평균 보상 1568.11을 기록해 최고 성능를 보였다.
• DQL 성능의 분산은 상대적으로 훨씬 낮았으며(표준편차 81.86), GA(61.13)보다 복잡한 제약 조건 하에서도 훨씬 더 안정적인 성능를 보였다.
• 실험 III에서 DQL은 최대 보상 1688을 기록했고, GA는 -736에 그쳤다. 이는 고복잡도 조건 하에서 뚜렷한 성능 격차를 보여주었다.
• DQL 모델은 조치 완화 시점까지 낮은 감염 수준을 유지하면서도 ICU 과잉 운영을 방지하고 경제 회복을 가능하게 했다.
• 최적의 DQL 솔루션은 단 한 번의 조치 전환만을 포함했으며, 이는 모델이 매끄럽고 현실적이며 안정적인 정책 시퀀스를 생성할 수 있음을 확인했다.
• 보상 체계는 의료 시스템 과잉 운영과 장기적인 경제 제한 조치를 피하는 시퀀스를 효과적으로 우선순위에 두었으며, DQL은 더 나은 장기적 계획 능력을 보였다.