[論文レビュー] Reinforced Epidemic Control: Saving Both Lives and Economy

Sirui Song, Zefang Zong+3 more|arXiv (Cornell University)|Aug 4, 2020

Human Mobility and Location-Based Analysis参考文献 27被引用数 11

ひとこと要約

本稿では、個人のプライベートデータに依存せずに、移動経路の出発地・到着地（OD）データのみを用いて、地域間移動を動的に制御し、感染拡大を抑止するための二目的強化学習フレームワーク、DURLECAを提案する。Flow-GNNを用いて感染リスクを推定し、感染抑制と移動維持のバランスを取る報酬関数を採用することで、実世界の実験において感染をほぼゼロにまで低減するとともに、都市内の移動の76%を維持した。

ABSTRACT

Saving lives or economy is a dilemma for epidemic control in most cities while smart-tracing technology raises people's privacy concerns. In this paper, we propose a solution for the life-or-economy dilemma that does not require private data. We bypass the private-data requirement by suppressing epidemic transmission through a dynamic control on inter-regional mobility that only relies on Origin-Designation (OD) data. We develop DUal-objective Reinforcement-Learning Epidemic Control Agent (DURLECA) to search mobility-control policies that can simultaneously minimize infection spread and maximally retain mobility. DURLECA hires a novel graph neural network, namely Flow-GNN, to estimate the virus-transmission risk induced by urban mobility. The estimated risk is used to support a reinforcement learning agent to generate mobility-control actions. The training of DURLECA is guided with a well-constructed reward function, which captures the natural trade-off relation between epidemic control and mobility retaining. Besides, we design two exploration strategies to improve the agent's searching efficiency and help it get rid of local optimums. Extensive experimental results on a real-world OD dataset show that DURLECA is able to suppress infections at an extremely low level while retaining 76\% of the mobility in the city. Our implementation is available at https://github.com/anyleopeace/DURLECA/.

研究の動機と目的

• 個人の移動データを一切使用しないで、感染対策と経済活動の両立というジレンマを解決すること。
• 感染拡大を最小限に抑えつつ、移動量を最大限に維持する、地域別に特化した動的移動制御ポリシーを構築すること。
• 感染対策の非凸的かつ多目的なポリシー空間を効果的に探索できる強化学習フレームワークを設計すること。
• 特定の地域に長期間にわたる完全封鎖を課さないことで、実用性を確保すること。
• 非凸的かつ高次元なポリシー空間における探索効率を向上させ、局所最適解から脱出するための新規な探索戦略を導入すること。

提案手法

• DURLECAは、都市内移動フローのグラフ上でウイルス感染リスクをモデル化するための、Flow-GNNと呼ばれるGNNアーキテクチャを採用している。
• Flow-GNNは、地域間ODフローに沿った感染拡大のダイナミクスを捉え、個々の個人データを必要とせずにリスク推定を可能にする。
• 推定されたリスクをもとに、二目的強化学習エージェントが、感染抑制と移動維持のバランスを取った移動制御行動を生成する。
• 報酬関数は、感染抑制と移動維持の自然なトレードオフを反映するように慎重に設計されており、継続的制限と一時的制限の両方の状況に対応している。
• 複雑で非凸的なポリシー空間における探索効率を高め、局所最適解から脱出するための、2つのカスタム探索戦略が導入されている。
• 本フレームワークは実世界のOD移動データセット上で訓練および評価されており、実効性が実証されている。感染を抑制しつつも、高い移動量を維持できる。

実験結果

リサーチクエスチョン

• RQ1 個人の追跡データを一切必要とせず、集計されたOD移動データのみで感染対策を効果的に行うことができるか？
• RQ2 感染数を最小限に抑えながら移動量を最大化するという相反する目的を両立させるために、強化学習エージェントをどのように訓練できるか？
• RQ3 都市内移動フローに沿ったウイルス感染リスクを正確にモデル化できる神経ネットワークアーキテクチャは何か？
• RQ4 非凸的かつ高次元な環境において、ポリシー空間の探索をどのように改善すれば、局所最適解に陥るのを避けることができるか？
• RQ5 動的かつ地域別に特化した移動制御ポリシーは、実世界の状況において、静的または均一な封鎖戦略を上回る性能を示せるか？

主な発見

• DURLECAは、実世界のODデータを用いた実験で、感染拡大を極めて低い水準に抑えることに成功し、ほぼゼロの感染率を達成した。
• 本フレームワークは、感染対策を効果的に行いつつ、元の都市移動量の76%を維持した。これは、完全封鎖に比べて経済的側面で顕著に優れていた。
• Flow-GNNアーキテクチャは、移動フローに沿ったウイルス拡散ダイナミクスを効果的にモデル化できており、標準的なGNNよりも感染リスクの捉え方において優れた性能を示した。
• 二目的報酬関数により、強化学習エージェントは、移動を過剰に制限することなく、感染を最小限に抑えるバランスの取れたポリシーを発見できた。
• 提案された2つの探索戦略は、エージェントが局所最適解から脱出し、優れたポリシーを発見する能力を顕著に向上させた。
• 本手法は、個人データを一切使用せずに効果的な感染対策が可能であることを示しており、個人追跡に代わるプライバシー保護型の代替手法を提供する。