[논문 리뷰] Optimal Policies for a Pandemic: A Stochastic Game Approach and a Deep Learning Algorithm

Yao Xuan, Robert Balkin외 3명|arXiv (Cornell University)|2020. 12. 12.

COVID-19 epidemiological studies참고 문헌 22인용 수 6

한 줄 요약

이 논문은 사회적 및 보건 간섭을 지역 간 통합하는 스토하스틱 미분 게임 기반의 다중 지역 SEIR 모델을 제안하여 최적의 패an디믹 정책을 도출한다. 향상된 딥 허위 플레이 알고리즘을 통해 고차원 계산 문제를 해결하고, 정책 효과성이 공공의 준수와 지역 간 협력에 의해 결정됨을 입증한다. 시뮬레이션 결과, 99%의 준수율이 달성될 경우 뉴욕, 뉴저지, 펜실베이니아의 유행병을 통제하면서 더 엄격하지 않은 锁정을 가능하게 한다.

ABSTRACT

Game theory has been an effective tool in the control of disease spread and in suggesting optimal policies at both individual and area levels. In this paper, we propose a multi-region SEIR model based on stochastic differential game theory, aiming to formulate optimal regional policies for infectious diseases. Specifically, we enhance the standard epidemic SEIR model by taking into account the social and health policies issued by multiple region planners. This enhancement makes the model more realistic and powerful. However, it also introduces a formidable computational challenge due to the high dimensionality of the solution space brought by the presence of multiple regions. This significant numerical difficulty of the model structure motivates us to generalize the deep fictitious algorithm introduced in [Han and Hu, MSML2020, pp.221--245, PMLR, 2020] and develop an improved algorithm to overcome the curse of dimensionality. We apply the proposed model and algorithm to study the COVID-19 pandemic in three states: New York, New Jersey, and Pennsylvania. The model parameters are estimated from real data posted by the Centers for Disease Control and Prevention (CDC). We are able to show the effects of the lockdown/travel ban policy on the spread of COVID-19 for each state and how their policies affect each other.

연구 동기 및 목표

• 다양한 지역 계획자들이 수립한 사회적 및 보건 정책을 통합한 현실적인 다중 지역 SEIR 모델을 개발하는 것.
• 패an디믹 정책 최적화에서 고차원 스토하스틱 미분 게임의 계산 불가능성 문제를 해결하는 것.
• 다중 지역 정책 게임에서의 차원의 저주 문제를 다룰 수 있는 향상된 딥 허위 플레이 알고리즘을 설계하는 것.
• 뉴욕, 뉴저지, 펜실베이니아에서의 코로나19 패an디믹 사례 연구에 모델과 알고리즘을 적용하는 것.
• 정책 준수와 지역 간 상호의존성이 최적의 봉쇄 전략에 어떻게 영향을 미치는지에 대한 정성적 통찰을 제공하는 것.

제안 방법

• 다양한 지역 계획자들이 수립한 정책 결정과 감염병 역학을 연결하는 스토하스틱 다중 지역 SEIR 모델을 수립한다.
• 지역 간 전략적 상호작용을 모델링하기 위해 스토하스틱 미분 게임 환경에서 나시 균형 프레임워크를 도입한다.
• 이질적이고 고차원적인 정책 공간을 다룰 수 있도록 딥 허위 플레이(DFP) 알고리즘을 일반화하고 수렴성을 향상시킨다.
• 실제 CDC 데이터를 사용하여 모델 매개변수를 추정하며, 전파율과 정책 효과성 등을 포함한다.
• 정책 수립자들이 감염/사망 손실과 경제 봉쇄 비용 간의 트레이드오프를 고려할 수 있도록 비용-편익 함수를 활용한다.
• 향상된 DFP 알고리즘을 적용하여 세 주에 걸쳐 나시 균형 정책을 수치적으로 계산한다.

실험 결과

연구 질문

• RQ1 각 지역이 자체 전략을 최적화할 때, 패an디믹 상황에서 지역 정책는 어떻게 상호작용하는가?
• RQ2 공공 준수(매개변수 θ로 모델링)가 최적의 봉쇄 정책의 효과성과 엄격성에 미치는 영향은 무엇인가?
• RQ3 특히 이주 이동을 포함한 지역 간 상호의존성이 최적의 정책 결과에 어떤 영향을 미치는가?
• RQ4 딥 러닝 알고리즘이 패an디믹 정책 설계를 위한 고차원 스토하스틱 미분 게임을 효과적으로 해결할 수 있는가?
• RQ5 감염 비용 대비 경제 비용의 상대적 가중치(초기 조정 파라미터 a)는 균형 정책 형성에 어떤 역할을 하는가?

주요 결과

• 공공 준수율이 높을 경우(θ = 0.99), 봉쇄 조치의 엄격함을 줄여도 유행병을 통제할 수 있으며, 정책 비용은 감소하고 감염자 수준은 낮게 유지된다.
• 준수율이 낮을 경우(θ = 0.9), 엄격한 정책조차 바이러스 통제에 효과적이지 않아 전파가 장기화되고 감염 부담이 증가한다.
• 지역 간 상호의존성은 개별 주 정책의 영향력을 크게 약화시킨다. 예를 들어, 뉴저지의 관대한 정책은 뉴욕과 펜실베이니아가 엄격한 조치를 시행하더라도 그 노력에 영향을 미친다.
• 모델은 한 지역에서 정책를 조기에 완화할 경우, 교차 경계 전파로 인해 다른 지역도 유사한 조치를 내릴 수 있는 체인 반응을 유발할 수 있음을 드러낸다.
• 준수율(θ)과 비용 가중치(a)의 다양한 조합에 따라 다수의 나시 균형이 존재하며, 이는 모델 매개변수에 대한 전략적 민감성을 시사한다.
• 시뮬레이션 결과, 2020년 초 뉴욕, 뉴저지, 펜실베이니아의 실제 정책은 θ = 0.99와 a = 25를 반영하고 있으며, 이는 높은 공공 준수와 균형 잡힌 비용 고려를 의미한다.