[論文レビュー] Multi-Objective Reinforcement Learning for Infectious Disease Control with Application to COVID-19 Spread

Runzhe Wan, Xinyu Zhang+1 more|arXiv (Cornell University)|Sep 9, 2020

COVID-19 epidemiological studies参考文献 45被引用数 4

ひとこと要約

この論文は、感染症の流行期における疾病管理と経済的コストのバランスをとるために、ベイジアン疫学モデルとパレート最適ポリシー計画を統合したモデルベースの多目的強化学習フレームワークを提案する。中国のCOVID-19データに適用することで、複数の介入戦略の予測帯を生成し、長期的な社会的コストを最小化するリアルタイム意思決定支援を可能にする。

ABSTRACT

Severe infectious diseases such as the novel coronavirus (COVID-19) pose a huge threat to public health. Stringent control measures, such as school closures and stay-at-home orders, while having significant effects, also bring huge economic losses. A crucial question for policymakers around the world is how to make the trade-off and implement the appropriate interventions. In this work, we propose a Multi-Objective Reinforcement Learning framework to facilitate the data-driven decision making and minimize the long-term overall cost. Specifically, at each decision point, a Bayesian epidemiological model is first learned as the environment model, and then we use the proposed model-based multi-objective planning algorithm to find a set of Pareto-optimal policies. This framework, combined with the prediction bands for each policy, provides a real-time decision support tool for policymakers. The application is demonstrated with the spread of COVID-19 in China.

研究の動機と目的

• 感染症の流行期における公衆衛生の成果と経済的影響のバランスをとる課題に対処すること。
• 感染症の伝播と介入効果の不確実性を考慮したデータ駆動型意思決定支援システムを開発すること。
• パレート最適介入戦略を用いて、政策立案者が健康的コストと経済的コストのトレードオフを評価できるようにすること。
• 予測帯による不確実性の定量化を通じて、予測を踏まえたリアルタイムのポリシー推奨を提供すること。

提案手法

• 各意思決定ポイントで現在の感染症伝播状態を表すベイジアン疫学モデルを学習する。
• 競合する目的をバランスさせるパレート最適ポリシーの集合を特定するために、モデルベースの多目的計画アルゴリズムを用いる。
• 各ポリシーの結果における不確実性を定量化するために、予測帯を統合する。
• 観測データを用いて環境モデルを反復的に更新することで、変化する流行ダイナミクスにオンラインで適応可能にする。
• 感染負担と経済的混乱の両方を含む長期的コストを基に、多目的最適化を実施する。
• 目的間のトレードオフ性能に基づいてポリシーをランク付けすることで、リアルタイム意思決定を支援する。

実験結果

リサーチクエスチョン

• RQ1 多目的強化学習は、流行期における疾病管理と経済的コストのバランスをとる介入戦略をどのように同定できるか？
• RQ2 予測帯による不確実性の定量化は、流行ダイナミクス下での頑健な政策意思決定をどのように支援するか？
• RQ3 提案されたモデルベースのフレームワークは、単目的またはヒューリスティックなアプローチと比較して、長期的社會的コストを最小化する点でどの程度有効か？
• RQ4 このフレームワークは、実世界の公衆衛生介入におけるトレードオフを反映した実行可能でパレート最適なポリシーを生成できるか？

主な発見

• このフレームワークは、中国におけるCOVID-19流行期に、感染制御と経済的インパクトの両方をバランスさせるパレート最適ポリシーの集合を効果的に同定した。
• 各ポリシーの予測帯は信頼性の高い不確実性の定量化を提供し、政策立案者による信頼性と解釈可能性を高めた。
• モデルベースのアプローチにより、反復的な環境モデルの更新を通じて、進化する流行状況へのリアルタイム適応が可能になった。
• ベイジアンモデリングと多目的計画の統合により、単目的の代替手法よりもより頑健でデータ駆動型のポリシー推奨が得られた。
• この手法は、意思決定者に定量的トレードオフを伴う実行可能な介入戦略を生成することで、実用的有用性を示した。