[논문 리뷰] A Microscopic Epidemic Model and Pandemic Prediction Using Multi-Agent Reinforcement Learning

Changliu Liu|arXiv (Cornell University)|2020. 04. 27.

COVID-19 epidemiological studies참고 문헌 5인용 수 9

한 줄 요약

이 논문은 개인 에이전트의 활동 결정과 전염병 전파에 미치는 영향을 모델링함으로써 전염병 확산을 시뮬레이션하기 위해 미시적 다중에이전트 강화학습 모델을 제안한다. 게임 이론적 최적화를 통해 자기 이기적인 에이전트가 부정적 외부효과를 초래함을 보이며, 이는 곡선을 평탄하게 만들기 위한 정책 개입이 필요하다는 것을 시사한다. 예측 결과는 다양한 활동 수준 하에서 시뮬레이션된 궤적을 통해 검증된다.

ABSTRACT

This paper introduces a microscopic approach to model epidemics, which can explicitly consider the consequences of individual's decisions on the spread of the disease. We first formulate a microscopic multi-agent epidemic model where every agent can choose its activity level that affects the spread of the disease. Then by minimizing agents' cost functions, we solve for the optimal decisions for individual agents in the framework of game theory and multi-agent reinforcement learning. Given the optimal decisions of all agents, we can make predictions about the spread of the disease. We show that there are negative externalities in the sense that infected agents do not have enough incentives to protect others, which then necessitates external interventions to regulate agents' behaviors. In the discussion section, future directions are pointed out to make the model more realistic.

연구 동기 및 목표

• 개별 의사결정과 전염병 전파에 미치는 영향을 포괄하는 미시적 전염병 모델을 개발하는 것.
• 자기 이기적인 행동이 부정적 외부효과로 인해 열악한 결과를 초래하는 방식을 분석하는 것.
• 다중에이전트 강화학습과 게임 이론을 활용하여 개인의 비용 최소화 의사결정에서 유도된 체계 수준의 전염병 전파를 예측하는 것.
• 비용 형태 조정과 같은 외부 간섭이 체계 역학을 어떻게 변화시키고 감염률을 감소시킬 수 있는지 탐색하는 것.
• 이질적 에이전트, 잠복기, 실세계 데이터 검증 등 현실성 향상을 위한 향후 연구 방향을 규명하는 것.

제안 방법

• 각 에이전트는 이진 상태(감염 가능성 있음 또는 감염됨)를 가지며, 일일 상호작용 예상 수준을 나타내는 $ u_i \in [0,1] $로 활동 수준을 선택한다.
• 에이전트 $ i $와 $ j $ 간의 상호작용 확률은 $ \min\{u_i, u_j\} $로 모델링되며, 상호 활동 의존성을 반영한다.
• 에이전트는 건강 보호(낮은 활동)와 사회적 상호작용(높은 활동) 간의 균형을 고려한 비용 함수를 최소화하며, 최적의 결정은 다중에이전트 강화학습을 통해 유도된다.
• 체계 역학은 이산 시간 단위(일 단위)로 시뮬레이션되며, 에피소드 동안 감염된 에이전트 수 $ m_k $ 를 추적한다.
• 자기 최적화 에이전트 결정 하에서의 나시 균형 행동을 분석하여, 자율 최적화 하에서의 안정 상태 감염 궤적을 예측한다.
• 외부 간섭은 비용 함수 형태 조정을 통해 모델링되며, 봉쇄 또는 인centives와 같은 정책 영향을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 개별 에이전트의 자기 이기적인 활동 선택이 인구 전체의 전염병 확산에 어떤 영향을 미치는가?
• RQ2 감염된 에이전트가 타인에게 가하는 위험을 내재화하지 않을 경우, 부정적 외부효과가 전염병 역학에서 어떤 역할을 하는가?
• RQ3 개별 비용 최소화 행동을 바탕으로 다중에이전트 강화학습이 체계 수준의 감염 궤적을 정확하게 예측할 수 있는가?
• RQ4 비용 형태 조정과 같은 외부 간섭이 자기 최적화 에이전트 행동 하에서 통제되지 않는 병원균 전파를 얼마나 효과적으로 완화할 수 있는가?
• RQ5 이질적 에이전트, 잠복기, 정보 비대칭성 등을 포함하여 모델의 현실성을 높이기 위해 어떤 수정이 필요한가?

주요 결과

• 감염된 에이전트는 활동 수준을 충분히 낮추는 동기가 없어지며, 이는 전염병 전파를 가속화하는 부정적 외부효과를 초래한다.
• 자기 최적화 행동 하에서 체계는 나시 균형에 도달하며 감염 궤적이 안정화되지만, 감염 수준이 높은 상태에서 정착한다.
• 높은 활동 수준($ u_i = 10/M $)은 빠른 감염 증가를 초래하고, 낮은 수준($ u_i = 1/M $)은 느린 전파를 초래하며, 후속 에피소드에서 궤적이 점차 평탄해진다.
• 탐색 기능을 끄면($ \epsilon = 0 $), 시스템 궤적이 수평선이 되며 $ m_k \equiv 1 $ 이 되어 안정된 균형에 수렴함을 나타낸다.
• 비용 형태 조정이 체계 역학을 효과적으로 변화시킴을 보이며, 개인의 동기 조정을 위해 정책 간섭이 필수적임을 시사한다.
• 모델의 예측 결과는 기대되는 추세와 일치한다: 높은 활동 수준은 더 빠르고 심각한 유행을 초래하고, 낮은 활동 수준은 전파를 늦춘다.