[論文レビュー] Multilevel Optimization for Policy Design with Agent-Based Epidemic Models

Jan-Hendrik Niemann, Samuel Uram+3 more|arXiv (Cornell University)|Apr 5, 2023

COVID-19 epidemiological studies被引用数 1

ひとこと要約

本稿では、感染症政策における非薬物的介入の最適設計を目的として、高精度なエージェントベースモデル（ABM）と粗い常微分方程式（ODE）モデルを組み合わせた異種の多段階最適化フレームワークを提案する。ODEモデルを用いてABMに基づく最適化を事前処理することで、収束を加速し、計算コストを削減する。この手法により、わずか3回の反復で目的関数値を約90％（約1189から約157）削減し、初期段階の収束において標準的な不正確勾配降下法を上回った。

ABSTRACT

Epidemiological models can not only be used to forecast the course of a pandemic like COVID-19, but also to propose and design non-pharmaceutical interventions such as school and work closing. In general, the design of optimal policies leads to nonlinear optimization problems that can be solved by numerical algorithms. Epidemiological models come in different complexities, ranging from systems of simple ordinary differential equations (ODEs) to complex agent-based models (ABMs). The former allow a fast and straightforward optimization, but are limited in accuracy, detail, and parameterization, while the latter can resolve spreading processes in detail, but are extremely expensive to optimize. We consider policy optimization in a prototypical situation modeled as both ODE and ABM, review numerical optimization approaches, and propose a heterogeneous multilevel approach based on combining a fine-resolution ABM and a coarse ODE model. Numerical experiments, in particular with respect to convergence speed, are given for illustrative examples.

研究の動機と目的

• 感染症政策設計のための複雑なエージェントベースモデル（ABM）の最適化にかかる高コストを軽減すること。
• 従来の最適化手法がABMに適用される際、微分が明確に定義されておらず、計算コストが非常に高いため、その限界を克服すること。
• 粗いODEモデルを用いて高分解能ABMを事前処理する多段階フレームワークを構築し、収束速度と効率を向上させること。
• 収束性と計算コストの観点から、提案手法の性能を標準的な最適化アルゴリズムと比較すること。
• ABMに基づく政策最適化が、ODEベースの手法と著しく異なる、より正確な干渉策をもたらすことを実証すること。

提案手法

• 本手法は、高分解能ABM（GERDAまたはH/ABM）と粗いODEモデルを組み合わせた異種の多段階最適化戦略を採用し、勾配近似のための補助モデルとしてODEモデルを用いる。
• 粗いODEモデルのヘッセ行列をプレコンディショナとして用い、ABM最適化ループ内の勾配降下法の収束を改善する。
• アルゴリズムは、ODEモデルがABMの目的関数の地形を迅速に近似するという一連の最適化サブプロブレムを繰り返し解くことで、政策を段階的に最適化する。
• 不正確勾配降下法をABMに適用し、有限差分またはサンプリングにより勾配推定値を得るが、ODEモデルが探索方向をガイドし、「ジグザグ」行動を低減する。
• 二段階構造を採用：粗いモデルがプレコンディショニング行列を提供し、細かいモデルが候補点における真の目的関数と勾配を評価する。
• 数値実験では、多段階法と不正確勾配降下法を比較し、収束速度と目的関数の削減率を性能指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 粗いODEモデルが、高精度なABMの収束を加速するために効果的にプレコンディショニングできるか？
• RQ2 ABM最適化において、多段階最適化アプローチは、標準的な不正確勾配降下法と比較して、収束速度と計算コストの点でどのように異なるか？
• RQ3 ABMから導かれる最適政策とODEモデルから導かれる政策との間には、どの程度の差異があり、政策設計にどのような意味を持つのか？
• RQ4 プレコンディショナの品質（つまり、粗いモデルと細かいモデルのヘッセ行列の一致度）が、多段階アルゴリズムの収束速度に与える影響はどの程度か？
• RQ5 多段階最適化と直接的なABM最適化の間で、計算効率と解の正確性のトレードオフはどのように変化するか？

主な発見

• 多段階最適化手法は、GERDA ABMに適用された結果、目的関数値をわずか3反復で約90％（約1189から約157）削減した。
• 本手法は、初期段階の最適化において不正確勾配降下法を著しく上回り、より良いプレコンディショニングのおかげで、近似的最適解に早く到達した。
• 多段階手法の収束率は、実験的にH/ABMではρODE, fine = 0.7433、GERDAではρODE, fine = 0.1934と測定され、H/ABMでは優れた性能を示し、GERDAでは中程度だが安定した収束を示した。
• 粗いODEモデルのヘッセ行列が効果的なプレコンディショナとして機能し、「ジグザグ」を低減させ、特に初期反復において収束を改善した。
• ABMから直接導かれた最適政策（例：GERDA）は、SIR型ODEモデルやH/ABMから導かれる政策と著しく異なっており、正確な政策設計には高精度モデルの使用が不可欠であることを示した。
• 理論的な高速化が見込まれるが、解に近づくに従い、高い信頼性を持つ勾配推定値が必要となるため、多段階手法の全体的な効率は制限を受ける。これは、多数のABMシミュレーションを要するためである。