[논문 리뷰] Machine Learning-Powered Mitigation Policy Optimization in Epidemiological Models

Jayaraman J. Thiagarajan, Peer‐Timo Bremer외 4명|arXiv (Cornell University)|2020. 10. 16.

COVID-19 epidemiological studies참고 문헌 20인용 수 4

한 줄 요약

이 논문은 전염병 모델에서 비약리적 간접 조치(NPIs)의 비트레이스러운 최적화 정책을 유도하기 위해 기계학습 기반의 미리 보는 최적화 프레임워크를 제안한다. 이는 공중보건 제약 조건과 사회경제적 비용을 균형 잡는 데 초점이 맞춰져 있다. SEIR 및 EpiCast 모델을 활용하고 이중 수준의 미리 보는 전략을 적용하여, 하루 신규 확진자 수 제한이 엄격하고 전파 역학이 불확실한 상황에서도 감염 수를 15% 감소시켜(630K에서 544K로) 높은 보상 수준을 유지하는 최적의 비약리적 간접 조치를 도출한다.

ABSTRACT

A crucial aspect of managing a public health crisis is to effectively balance prevention and mitigation strategies, while taking their socio-economic impact into account. In particular, determining the influence of different non-pharmaceutical interventions (NPIs) on the effective use of public resources is an important problem, given the uncertainties on when a vaccine will be made available. In this paper, we propose a new approach for obtaining optimal policy recommendations based on epidemiological models, which can characterize the disease progression under different interventions, and a look-ahead reward optimization strategy to choose the suitable NPI at different stages of an epidemic. Given the time delay inherent in any epidemiological model and the exponential nature especially of an unmanaged epidemic, we find that such a look-ahead strategy infers non-trivial policies that adhere well to the constraints specified. Using two different epidemiological models, namely SEIR and EpiCast, we evaluate the proposed algorithm to determine the optimal NPI policy, under a constraint on the number of daily new cases and the primary reward being the absence of restrictions.

연구 동기 및 목표

• 전염병 기간 동안 비약리적 간접 조치(NPIs)의 공중보건 결과와 사회경제적 비용을 균형 잡는 데 도전하는 데 목적이 있다.
• 지속적인 봉쇄와 같은 단순한 해결책의 한계를 극복하기 위해, 시간 지연 효과와 장기 예측을 정책 최적화에 통합한다.
• 의료 시설 수용 능력 제약 조건을 준수하고 비정지 정책을 장려하는 원칙적인 방법으로 최적의 NPI 순서를 유도하는 확장 가능한 방법을 개발한다.
• 전파 확률, 준수도, 간섭 빈도와 같은 핵심 매개변수의 영향을 정책 효용성과 결과에 미치는 영향을 평가한다.
• 구성 모델(SEIR)과 에이전트 기반 모델(EpiCast) 양쪽 모두에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 각 시간 단계에서 전염병 모델(SEIR 또는 EpiCast)의 상태로 정의되는 시간에 따른 제약 조건 최적화 문제로 정책 유도 문제를 수립한다.
• 미래 상태와 보상을 예측하기 위해 이중 수준의 미리 보는 전략을 활용하여, 간접 조치의 지연 효과를 예측하는 전방향 의사결정을 가능하게 한다.
• 모델의 복잡성에도 불구하고 최적화의 확장성을 확보하기 위해 사전 시뮬레이션 데이터 기반의 서rogate 모델을 사용하여 정책 탐색을 가속화한다.
• 사회경제적 비용을 반영하여 다양한 NPI 수준에 보상을 할당하며, 더 덜 제한적인 정책일수록 더 높은 보상을 부여한다.
• 의료 시설 수용 능력을 초과하지 않도록 하루 신규 확진자 수에 하드 제약 조건(임계값 τ)을 적용한다.
• 각 단계에서 누적 보상을 최대화하면서도 미리 보는 창과 제약 조건을 준수하는 그리디 최적화 전략을 적용한다.

실험 결과

연구 질문

• RQ1 의료 시설 수용 능력 제약 조건을 준수하면서도 단순한 해결책(예: 영구 봉쇄)을 피할 수 있는 비트레이스러운 최적의 NPI 정책을 어떻게 도출할 수 있는가?
• RQ2 시간 지연과 기하급수적 증가가 존재하는 상황에서, 반응형 또는 단기적 접근에 비해 미리 보는 최적화 전략이 정책 결과에 얼마나 향상시키는가?
• RQ3 전파 확률(TransProp)과 공중 보건 준수도의 변화가 유도된 완화 정책의 최적성과 강건성에 어떤 영향을 미치는가?
• RQ4 제한된 빈도로 정책 변경이 가능한가 하거나 변동하는 간섭 비용이 존재하는 현실적인 조건 하에서 제안된 방법이 효과적인 정책을 도출할 수 있는가?
• RQ5 보상 구조가 감염 수 최소화와 사회경제적 혼란 감소 사이의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 미리 보는 최적화 전략은 하루 630K명에서 544K명으로 감염 수를 15% 감소시키는 비트레이스러운 정책을 성공적으로 도출하였으며, 이는 제약 조건이 없는 최대 보상 정책 대비 보상 수준이 15% 감소함에도 불구하고 성공적이다.
• 하루 신규 확진자 임계값 τ를 2000에서 1250으로 낮추면, 정책은 장기간에 걸쳐 매우 제한적인 NPI(P0 또는 P1)를 채택하게 되어 기하급수적 전파를 억제하기 위해 조기에 엄격한 조치가 필요하다는 점을 입증한다.
• 전파 확률(TransProp)이 0.1에서 0.22로 증가함에 따라 감염 수가 크게 증가하고 보상 수준이 감소하여, 높은 전파율이 정책 효과성에 악영향을 미친다는 점을 시사한다.
• 공중 보건 준수도가 0.5에서 0.95로 향상되면 감염 수가 감소하고 보상 수준이 상승하지만, 기저 전파율이 높기 때문에 고준수 수준에서는 이득이 포화 상태에 도달한다.
• 엄격한 임계값 τ=700 조건 하에서도 알고리즘은 단기적으로만 0단계(완전 봉쇄)로 복귀하는 타당한 정책을 도출하여 극한 제약 조건 하에서도 강건성을 보여준다.
• 비즈니스 관련 NPI만 고려할 경우에도 정책은 효과적으로 유지되며, 경제 재개와 감염 통제를 균형 잡는 최적의 전략이 도출된다.