[論文レビュー] A Microscopic Epidemic Model and Pandemic Prediction Using Multi-Agent Reinforcement Learning

Changliu Liu|arXiv (Cornell University)|Apr 27, 2020

COVID-19 epidemiological studies参考文献 5被引用数 9

ひとこと要約

本稿では、個々のエージェントの活動意思決定とその感染拡散への影響をモデル化することで、感染症の拡散を模擬する微視的マルチエージェント強化学習モデルを提案する。ゲーム理論的最適化を用いて、自己利益志向のエージェントが負の外部効果を生じさせることを示し、感染曲線を平坦化させるために政策的対策が必要であることを示す。予測は、さまざまな活動水準下でのシミュレートされた軌道によって検証された。

ABSTRACT

This paper introduces a microscopic approach to model epidemics, which can explicitly consider the consequences of individual's decisions on the spread of the disease. We first formulate a microscopic multi-agent epidemic model where every agent can choose its activity level that affects the spread of the disease. Then by minimizing agents' cost functions, we solve for the optimal decisions for individual agents in the framework of game theory and multi-agent reinforcement learning. Given the optimal decisions of all agents, we can make predictions about the spread of the disease. We show that there are negative externalities in the sense that infected agents do not have enough incentives to protect others, which then necessitates external interventions to regulate agents' behaviors. In the discussion section, future directions are pointed out to make the model more realistic.

研究の動機と目的

• 個々の意思決定とその感染拡散への影響を捉える微視的流行モデルを開発すること。
• エージェントの自己利益志向の行動が、負の外部効果によってもたらされる非効率な結果を生じる仕組みを分析すること。
• マルチエージェント強化学習とゲーム理論を用いて、個々のコスト最小化意思決定から生じるシステムレベルの感染拡大を予測すること。
• コスト形状の変更などの外部的介入が、システムダイナミクスをどのように変化させ、感染率を低下させるかを検討すること。
• より現実的になるために必要な今後の研究方向性を同定すること、例えば、異質なエージェント、潜伏期間、情報非対称性の統合。

提案手法

• 各エージェントは二値の状態（感受性または感染）を有し、1日あたりの接触回数を表す $ u_i \in [0,1] $ の活動水準を選択する。
• エージェント $ i $ と $ j $ 間の接触確率は $ \min\{u_i, u_j\} $ としてモデル化され、相互の活動依存性を捉える。
• エージェントは、健康保護（低い活動）と社会的関与（高い活動）の両方のバランスを取るコスト関数を最小化する。最適な意思決定はマルチエージェント強化学習によって導出される。
• システムダイナミクスは離散時間ステップ（日単位）でシミュレートされ、エピソードごとに感染エージェント数 $ m_k $ を追跡する。
• ナッシュ均衡の行動を分析して、自己最適化エージェントの意思決定下での定常状態の感染軌道を予測する。
• 外部的介入はコスト関数の形状変更を通じてモデル化され、ロックダウンやインcentivesなどの政策的影響を模擬する。

実験結果

リサーチクエスチョン

• RQ1 個々のエージェントの自己利益志向の活動選択が、集団における感染症の広がりにどのように影響を与えるか。
• RQ2 感染エージェントが他者に及えるリスクを内部化しない場合、負の外部効果が流行ダイナミクスに果たす役割は何か。
• RQ3 個々のコスト最小化行動に基づいて、マルチエージェント強化学習がシステムレベルの感染軌道を正確に予測できるか。
• RQ4 コスト形状の変更などの外部的介入は、自己最適化エージェントの行動下で、制御不能な感染拡大を緩和するのにどの程度有効か。
• RQ5 より現実的にするために、異質なエージェント、潜伏期間、情報非対称性を統合するにあたり、モデルに必要な修正は何か。

主な発見

• 感染エージェントは活動水準を十分に低下させるインcentiveを持たないため、負の外部効果が生じ、感染拡大が加速する。
• 自己最適化行動下では、システムはナッシュ均衡に達し、感染軌道は安定するが、感染レベルが非常に高い状態で安定する。
• 高い活動水準（$ u_i = 10/M $）では感染拡大が急速に進行するが、低い水準（$ u_i = 1/M $）では拡散が遅くなり、後続のエピソードで軌道が平坦化する。
• 探索を無効化した場合（$ \epsilon = 0 $）、システムの軌道は水平になり、$ m_k \equiv 1 $ となる。これは安定な均衡に収束していることを示している。
• 本モデルは、コスト形状の変更がシステムダイナミクスを効果的に変化させることを示しており、個々のインcentiveを是正するための政策的介入の必要性を示唆している。
• モデルの予測は期待されるトレンドと整合しており、高い活動水準はより速く深刻な流行を引き起こし、低い水準では感染拡散が遅延する。