[논문 리뷰] Multilevel Optimization for Policy Design with Agent-Based Epidemic Models

Jan-Hendrik Niemann, Samuel Uram외 3명|arXiv (Cornell University)|2023. 04. 05.

COVID-19 epidemiological studies인용 수 1

한 줄 요약

이 논문은 전염병 정책 설계를 위한 최적의 약물 외 간접적 조치를 설계하기 위해 고정밀도 에이전트기반모델(ABM)과 근사적인 상미분방정식(ODE) 모델을 조합한 이종 다수준 최적화 프레임워크를 제안한다. ODE 모델을 사용해 ABM 기반 최적화를 사전 조건화함으로써, 수렴 속도를 가속화하고 계산 비용을 감소시켰으며, 단 3회 반복만으로 목적 함수 값이 약 1189에서 약 157로 90% 감소하는 결과를 얻었다. 이는 초기 수렴 단계에서 표준 비정확한 기울기 하강법보다 뛰어난 성능을 보였다.

ABSTRACT

Epidemiological models can not only be used to forecast the course of a pandemic like COVID-19, but also to propose and design non-pharmaceutical interventions such as school and work closing. In general, the design of optimal policies leads to nonlinear optimization problems that can be solved by numerical algorithms. Epidemiological models come in different complexities, ranging from systems of simple ordinary differential equations (ODEs) to complex agent-based models (ABMs). The former allow a fast and straightforward optimization, but are limited in accuracy, detail, and parameterization, while the latter can resolve spreading processes in detail, but are extremely expensive to optimize. We consider policy optimization in a prototypical situation modeled as both ODE and ABM, review numerical optimization approaches, and propose a heterogeneous multilevel approach based on combining a fine-resolution ABM and a coarse ODE model. Numerical experiments, in particular with respect to convergence speed, are given for illustrative examples.

연구 동기 및 목표

• 에pidemic 정책 설계를 위한 복잡한 에이전트기반모델(ABM) 최적화의 높은 계산 비용을 해결하기 위해.
• ABM에 대해 잘 정의된 도함수가 없고 계산 비용이 막대한 전통적인 최적화 방법의 한계를 극복하기 위해.
• 정밀도가 높은 ABM를 효율적으로 최적화하기 위해, 근사적인 ODE 모델을 사전 조건자로 활용하는 다수준 프레임워크를 개발하기 위해.
• 제안된 방법의 수렴 성능와 계산 비용 측면에서 표준 최적화 알고리즘과의 성능를 평가하기 위해.
• ABM 기반 정책 최적화가 ODE 기반 접근법보다 훨씬 다르고 더 정확한 간접 조치를 도출함을 입증하기 위해.

제안 방법

• 이 방법은 정밀도가 높은 ABM(GERDA 또는 H/ABM)와 비용이 낮은 ODE 모델을 조합한 이종 다수준 최적화 전략을 사용하며, 기울기 근사치를 위해 ODE 모델을 서로서비스로 활용한다.
• 비용이 낮은 ODE 모델의 헤시안 행렬을 사전 조건자로 사용하여 ABM 최적화 루프 내 기울기 하강법의 수렴 속도를 향상시킨다.
• 알고리즘은 수차례 최적화 하위 문제를 풀며 정책을 점진적으로 개선하며, 이때 ODE 모델이 ABM의 목적 함수 경로를 신속하게 근사한다.
• 비정확한 기울기 하강법을 ABM에 적용하며, 기울기 추정치는 유한 차분 또는 샘플링을 통해 확보한다. 이때 ODE 모델이 검색 방향을 안내하고 'zig-zagging' 행동을 줄인다.
• 이 방법은 이중 구조를 취한다: 비용이 낮은 모델이 사전 조건 행렬을 제공하고, 정밀도가 높은 모델이 후보 점에서 진짜 목적 함수와 기울기를 평가한다.
• 수치 실험을 통해 다수준 방법과 비정확한 기울기 하강법을 비교하였으며, 수렴 속도와 목적 함수 감소율을 성능 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 비용이 낮은 ODE 모델이 고정밀도 ABM의 수렴 속도를 효과적으로 가속화할 수 있는가?
• RQ2 ABM 최적화에서 다수준 최적화 접근법이 표준 비정확한 기울기 하강법에 비해 수렴 속도와 계산 비용 측면에서 어떻게 비교되는가?
• RQ3 ABM에서 유도된 최적 정책와 ODE 모델에서 유도된 정책는 얼마나 다를 수 있으며, 정책 설계에 어떤 영향을 미치는가?
• RQ4 사전 조건자 품질(즉, 비용이 낮은 모델과 정밀도가 높은 모델의 헤시안 행렬 간 일치도)이 다수준 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 다수준 최적화를 사용할 경우와 직접 ABM 최적화를 사용할 경우, 계산 효율성과 해의 정확성 사이의 상충 관계는 어떠한가?

주요 결과

• 다수준 최적화 방법은 GERDA ABM에 적용된 결과, 목적 함수 값이 약 1189에서 약 157로 3회 반복 내에 90% 감소하였다.
• 이 방법은 비정확한 기울기 하강법보다 초기 최적화 단계에서 뚜렷한 성능 향상을 보였으며, 더 나은 사전 조건화 덕분에 빠르게 근사 최적 해에 도달하였다.
• H/ABM의 경우 수렴 속도는 ρODE, fine = 0.7433로 측정되었고, GERDA의 경우 ρODE, fine = 0.1934로 측정되어 H/ABM에서는 뛰어난 성능를 보였고, GERDA에서는 중간 수준이지만 안정적인 수렴을 보였다.
• 비용이 낮은 ODE 모델의 헤시안 행렬이 효과적인 사전 조건자로 작용하여 'zig-zagging' 현상을 줄이고, 특히 초기 반복 단계에서 수렴을 향상시켰다.
• 직접 ABM에서 유도된 최적 정책(GERDA 기반)는 SIR 유형의 ODE 모델이나 H/ABM에서 유도된 정책와 근본적으로 다름을 보였으며, 정확한 정책 설계를 위해 고정밀도 모델이 반드시 필요함을 시사하였다.
• 이론적으로는 가속화가 가능하지만, 해에 가까워질수록 고신뢰도 기울기 추정치가 필요하여 많은 수의 ABM 시뮬레이션을 요구함에 따라 다수준 방법의 전체 효율성은 제한된다.