[論文レビュー] Optimal Policies for a Pandemic: A Stochastic Game Approach and a Deep Learning Algorithm

Yao Xuan, Robert Balkin+3 more|arXiv (Cornell University)|Dec 12, 2020

COVID-19 epidemiological studies参考文献 22被引用数 6

ひとこと要約

本稿では、社会的および医療的介入を地域間で統合する最適パンデミック政策を導出するために、確率的確率的ゲームに基づくマルチリージョンSEIRモデルを提案する。強化されたディープ仮想プレイ（deep fictitious play）アルゴリズムを用いることで、高次元の計算課題を克服し、政策の効果が公衆の協力度と地域間連携に極めて依存することを示している。シミュレーションでは、99%の協力度がニューヨーク、ニュージャージー、ペンシルベニアのパンデミックを制御しつつ、より緩いロックダウンを可能にしている。

ABSTRACT

Game theory has been an effective tool in the control of disease spread and in suggesting optimal policies at both individual and area levels. In this paper, we propose a multi-region SEIR model based on stochastic differential game theory, aiming to formulate optimal regional policies for infectious diseases. Specifically, we enhance the standard epidemic SEIR model by taking into account the social and health policies issued by multiple region planners. This enhancement makes the model more realistic and powerful. However, it also introduces a formidable computational challenge due to the high dimensionality of the solution space brought by the presence of multiple regions. This significant numerical difficulty of the model structure motivates us to generalize the deep fictitious algorithm introduced in [Han and Hu, MSML2020, pp.221--245, PMLR, 2020] and develop an improved algorithm to overcome the curse of dimensionality. We apply the proposed model and algorithm to study the COVID-19 pandemic in three states: New York, New Jersey, and Pennsylvania. The model parameters are estimated from real data posted by the Centers for Disease Control and Prevention (CDC). We are able to show the effects of the lockdown/travel ban policy on the spread of COVID-19 for each state and how their policies affect each other.

研究の動機と目的

• 複数の地域計画者からの社会的および医療的政策を統合する、現実的でマルチリージョンのSEIRモデルを構築すること。
• パンデミック政策最適化における高次元確率的微分ゲームの計算不能性を解決すること。
• マルチリージョン政策ゲームにおける次元の呪いを扱えるように強化されたディープ仮想プレイ（DFP）アルゴリズムを設計すること。
• COVID-19パンデミックの実世界の事例研究として、ニューヨーク、ニュージャージー、ペンシルベニアに適用すること。
• 政策の協力度と地域間依存関係が最適ロックダウン戦略にどのように影響を与えるかの定性的な知見を提供すること。

提案手法

• 複数の地域計画者からの政策意思決定と感染症動態を結合する確率的マルチリージョンSEIRモデルを定式化する。
• 地域間の戦略的相互作用をモデル化するため、確率的微分ゲーム設定におけるナッシュ均衡フレームワークを導入する。
• 異種多様で高次元の政策空間を扱い、収束性を向上させるためにディープ仮想プレイ（DFP）アルゴリズムを一般化する。
• CDCの実データを用いて、感染率や政策効果などのモデルパラメータを推定する。
• 計画者が感染/死亡損失と経済的ロックダウンコストのトレードオフを取るためのコスト・ベネフィット関数を採用する。
• 強化されたDFPアルゴリズムを用いて、3州にわたるナッシュ均衡政策を数値的に計算する。

実験結果

リサーチクエスチョン

• RQ1 各地域が自らの戦略を独立して最適化する場合、パンデミックにおける地域政策はどのように相互作用するか？
• RQ2 公衆の協力度（パラメータθでモデル化）は、最適ロックダウン政策の効果と厳密さにどのような影響を及ぼすか？
• RQ3 特に州間移動を含む地域間依存関係は、最適政策の結果にどのように影響するか？
• RQ4 ディープラーニングアルゴリズムは、パンデミック政策設計における高次元確率的微分ゲームを効果的に解けるか？
• RQ5 感染コストと経済的コストの相対的重み（ハイパーパrameter a）は、均衡政策の形状にどのような役割を果たすか？

主な発見

• 公衆の協力度が高い（θ = 0.99）場合、パンデミックを制御するにはより緩いロックダウンで十分であり、政策コストを低減しつつ感受性人口の水準を低く保てる。
• 協力度が低い（θ = 0.9）場合、厳格な政策でもウイルスの効果的制御に失敗し、感染が長引くことになり、感染負担が高くなる。
• 地域間依存関係は、個々の州政策の影響を顕著に弱める。例えば、ニュージャージー州の緩い政策は、ニューヨーク州やペンシルベニア州が厳格な措置を取っている場合でも、その取り組みを損なう。
• モデルは、1地域での早期政策緩和が連鎖反応を引き起こし、継続的な国境を越えた感染伝播のため、他の地域も制限を緩和するようになることを明らかにした。
• 異なる協力度（θ）とコスト重み（a）の組み合わせによって複数のナッシュ均衡が存在し、モデルパラメータに強い戦略的感受性があることが示された。
• シミュレーションの結果、2020年初頭のニューヨーク、ニュージャージー、ペンシルベニアの実際の政策は、θ = 0.99およびa = 25と一致しており、高い公衆協力度とバランスの取れたコスト配分が特徴であることが示唆された。