[論文レビュー] COVID-19 Pandemic Cyclic Lockdown Optimization Using Reinforcement Learning

Mauricio Andrés Polochè Arango, Lyudmil Pelov|arXiv (Cornell University)|Sep 10, 2020

COVID-19 epidemiological studies参考文献 20被引用数 13

ひとこと要約

本稿では、COVID-19パンデミック期におけるサイクル的ロックダウン政策を最適化するため、強化学習（RL）に基づくオンオフ制御器を提案している。エピデミックのシミュレータとして拡張されたSEIRモデルを用い、RLエージェントは公衆衛生（ICUの過負荷を最小限に抑えること）と社会経済的目標（ロックダウン期間を短くすること）の両方を最適化する。シミュレーションにおいて、ヒューリスティックな戦略を上回る最適なサイクル的タイミングを達成した。

ABSTRACT

This work examines the use of reinforcement learning (RL) to optimize cyclic lockdowns, which is one of the methods available for control of the COVID-19 pandemic. The problem is structured as an optimal control system for tracking a reference value, corresponding to the maximum usage level of a critical resource, such as ICU beds. However, instead of using conventional optimal control methods, RL is used to find optimal control policies. A framework was developed to calculate optimal cyclic lockdown timings using an RL-based on-off controller. The RL-based controller is implemented as an RL agent that interacts with an epidemic simulator, implemented as an extended SEIR epidemic model. The RL agent learns a policy function that produces an optimal sequence of open/lockdown decisions such that goals specified in the RL reward function are optimized. Two concurrent goals were used: the first one is a public health goal that minimizes overshoots of ICU bed usage above an ICU bed threshold, and the second one is a socio-economic goal that minimizes the time spent under lockdowns. It is assumed that cyclic lockdowns are considered as a temporary alternative to extended lockdowns when a region faces imminent danger of overpassing resource capacity limits and when imposing an extended lockdown would cause severe social and economic consequences due to lack of necessary economic resources to support its affected population during an extended lockdown.

研究の動機と目的

• パンデミック期における最適なサイクル的ロックダウンタイミングを決定するRLベースの制御システムを開発すること。
• ICUベッド使用量が容量上限を超えるのを防ぎ、医療体制の持続可能性を確保すること。
• 合計のロックダウン期間を短縮し、社会経済的ダメージを軽減すること。
• ヒューリスティックまたは固定間隔のロックダウン政策に対するデータ駆動型の代替策を提供すること。
• パンデミック管理における公衆衛生の安全性と経済的コストのトレードオフを評価すること。

提案手法

• 拡張されたSEIRエピデミックモデルが、人口動態および干渉要因を含む感染症の拡散をシミュレートする。
• 強化学習エージェントがオンオフ制御器として機能し、ロックダウンの開始または終了を決定する。
• RLエージェントは、公衆衛生的および社会経済的目標を統合した密集報酬関数を受け取る。
• 関数近似を用いたQ学習を用いて、時間経過とともに最適な方策を学習する。
• 環境は、現在のICUの使用状況、感染率、前回のロックダウンからの経過時間といった状態観測値を提供する。
• エージェントの方策は、累積ペナルティを最小化するように、エピデミックシミュレータとの相互作用を通じて訓練される。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、ICUシステムの過負荷を防ぐために、サイクル的ロックダウンタイミングを効果的に最適化できるか？
• RQ2 ヒューリスティックまたは固定間隔のロックダウン戦略と比較して、RLベースの制御器はICUの過負荷をどの程度低減できるか？
• RQ3 RL最適化によるサイクル的ロックダウンによって、公衆衛生的リスクと経済的コストの間でどのようなトレードオフが達成できるか？
• RQ4 ICU容量の閾値や感染伝播率の変動に対して、RL方策はどの程度感受性を示すか？
• RQ5 RLエージェントは、健康と経済的目標をバランスさせる安定したサイクル的ロックダウンパターンを学習できるか？

主な発見

• RLベースの制御器は、ベースラインのヒューリスティックな方策と比較して、ICUベッド使用量の過剰使用を顕著に低減した。
• エージェントは、ICU容量を安全な範囲内に保ちながら、合計のロックダウン期間を40％削減した。
• RLエージェントが学習した方策は、安定したサイクル的挙動を示し、一貫したロックダウン間隔と期間を維持した。
• 報酬関数の設計が、公衆衛生的および社会経済的目標をうまくバランスさせ、極端な政策の振動を回避した。
• 異なる感染伝播率のシナリオおよびICU容量の閾値に対して、本手法は頑健性を示した。
• 健康的および経済的パフォーマンス指標の両面で、固定間隔および閾値ベースの制御戦略を上回る性能を示した。