[논문 리뷰] Markovian And Non-Markovian Processes with Active Decision Making Strategies For Addressing The COVID-19 Epidemic

H. Eftekhari, Debasis Mukherjee외 2명|arXiv (Cornell University)|2020. 08. 01.

COVID-19 epidemiological studies참고 문헌 28인용 수 5

한 줄 요약

이 연구는 5월 1일부터 8월 31일까지 미국의 여섯 개 주에서 코로나19 유행을 최적화하기 위해 부분 관측된 마르코프 결정 과정 프레임워크 내에서 이산 컴partments 기반 모델을 사용한다. 손실 함수를 최소화하기 위해 추정된 전이 확률과 정책 시뮬레이션을 통해, 마스크 착용과 사회적 거리 두기가 유지되는 한 50일 테스트 기간 동안 봉쇄 조치가 필요하지 않다는 것이 밝혀졌다.

ABSTRACT

We study and predict the evolution of Covid-19 in six US states from the period May 1 through August 31 using a discrete compartment-based model and prescribe active intervention policies, like lockdowns, on the basis of minimizing a loss function, within the broad framework of partially observed Markov decision processes. For each state, Covid-19 data for 40 days (starting from May 1 for two northern states and June 1 for four southern states) are analyzed to estimate the transition probabilities between compartments and other parameters associated with the evolution of the epidemic. These quantities are then used to predict the course of the epidemic in the given state for the next 50 days (test period) under various policy allocations, leading to different values of the loss function over the training horizon. The optimal policy allocation is the one corresponding to the smallest loss. Our analysis shows that none of the six states need lockdowns over the test period, though the no lockdown prescription is to be interpreted with caution: responsible mask use and social distancing of course need to be continued. The caveats involved in modeling epidemic propagation of this sort are discussed at length. A sketch of a non-Markovian formulation of Covid-19 propagation (and more general epidemic propagation) is presented as an attractive avenue for future research in this area.

연구 동기 및 목표

• 스토케스틱 모델링을 활용해 코로나19 유행 기간 동안 공중보건 간병 최적화를 위한 의사결정 지원 프레임워크 개발.
• 추정된 전이 확률을 사용한 컴partments 기반 역학을 활용해 미국 여섯 주의 유행 전개 모델링.
• 부분 관측된 마르코프 결정 과정(POMDP) 내에서 봉쇄와 같은 활성 의사결정 전략 적용을 통해 정의된 손실 함수 최소화.
• 자료 기반 정책 최적화를 통해 50일 예측 기간 동안 봉쇄 조치가 필요한지 평가.
• 미래 연구에서 비마르코프 형식이 더 정확한 유행 전파 모델링을 위해 어떻게 활용될 수 있는지 탐색.

제안 방법

• 이산 컴partments 기반 모델을 사용해 상태 간 질병 진행 상황을 표현하며, 감염 가능자, 감염자, 회복자 및 기타 전염병학적 상태를 추적.
• 각 주에서 5월 1일(북부 두 주)과 6월 1일(남부 네 주)부터 시작해 40일 간의 실제 코로나19 데이터를 기반으로 컴partments 간 전이 확률 추정.
• 질병 상태에 대한 불확실성을 모델링하고 최적의 정책 선택을 안내하기 위해 부분 관측된 마르코프 결정 과정(POMDP) 활용.
• 건강, 경제, 사회적 영향을 포함한 다양한 정책 결과의 비용을 정량화하기 위해 손실 함수 정의하고, 훈련 기간 동안 이를 최소화.
• 다양한 간병 배정(예: 봉쇄, 간병 없음)을 시뮬레이션하여 가장 낮은 손실을 초래하는 정책을 선정함으로써 최적의 정책 도출.
• 미래 유행 모델링에서 기억 효과와 시간에 따라 변화하는 전파 역학을 더 잘 포착하기 위해 비마르코프 형식을 개략적으로 제안함.

실험 결과

연구 질문

• RQ1 50일 예측 기간 동안 선택된 미국 주에서 코로나19 전파를 완화하기 위한 최적의 활성 간병 정책(예: 봉쇄)은 무엇인가?
• RQ2 실제 데이터에서 추정된 전이 확률이 다양한 정책 시나리오 하에서 유행 궤적 예측에 어떻게 영향을 미치는가?
• RQ3 부분 관측된 마르코프 결정 과정 프레임워크가 공중보건 의사결정에서 복합 손실 함수를 최소화하는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ4 데이터 기반 정책 최적화에 기반해 봉쇄 조치를 피할 수 있는 조건는 무엇인가?
• RQ5 비마르코프 모델이 전통적인 마르코프 접근 방식에 비해 유행 예측 정확도를 어떻게 향상시킬 수 있는가?

주요 결과

• 50일 테스트 기간 동안 미국 여섯 주의 최적 정책은 봉쇄 조치가 필요하지 않았으며, 이는 정의된 손실 함수를 최소화하기 때문이었다.
• 봉쇄 조치가 필요하지 않은 것은 마스크 착용과 사회적 거리 두기와 같은 비약리학적 조치의 지속적인 이행에 달려 있다.
• 모델의 예측는 40일 간의 역사적 데이터를 기반으로 하며, 각 주별로 추정된 전이 확률을 활용해 향후 유행 예측에 활용.
• 연구는 유행 전파 모델링의 상당한 한계를 밝혀냈으며, 특히 데이터 품질, 관측되지 않은 상태, 단순화된 가정과 관련된 문제점이 포함.
• 미래 모델링을 위해 비마르코프 형식이 더 현실적인 대안으로 제안되었으며, 시간에 따라 변화하는 전파 패턴과 기억 효과를 포착할 수 있음.
• 결과는 행동 준수와 정책 비용을 의사결정 프레임워크에 통합하는 것이 과도한 제재 조치에 대한 의존을 피하는 데 중요하다는 점을 강조함.