[論文レビュー] How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks.

Eli A. Meirom, Haggai Maron+2 more|arXiv (Cornell University)|Oct 11, 2020

Complex Network Analysis Techniques参考文献 57被引用数 7

ひとこと要約

本稿では、感染症や誤情報の拡散といった動的で部分観測可能なグラフプロセスにおけるノードテストの優先順位付けを可能にする、グラフニューラルネットワークを用いた強化学習フレームワークであるRLGNを提案する。これにより、効率的な制御が可能となり、監視学習手法と比較して25%多くの健康な個体数を達成し、30%高い制御率を示す。同じリソースを用いた非学習ベースの手法と比較して2.5倍の改善効果を達成した。

ABSTRACT

We consider the problem of monitoring and controlling a partially-observed dynamic process that spreads over a graph. This problem naturally arises in contexts such as scheduling virus tests or quarantining individuals to curb a spreading epidemic; detecting fake news spreading on online networks by manually inspecting posted articles; and targeted marketing where the objective is to encourage the spread of a product. Curbing the spread and constraining the fraction of infected population becomes challenging when only a fraction of the population can be tested or quarantined. To address this challenge, we formulate this setup as a sequential decision problem over a graph. In face of an exponential state space, combinatorial action space and partial observability, we design RLGN, a novel tractable Reinforcement Learning (RL) scheme to prioritize which nodes should be tested, using Graph Neural Networks (GNNs) to rank the graph nodes. We evaluate this approach in three types of social-networks: community-structured, preferential attachment, and based on statistics from real cellular tracking. RLGN consistently outperforms all baselines in our experiments. It suggests that prioritizing tests using RL on temporal graphs can increase the number of healthy people by $25\%$ and contain the epidemic $30\%$ more often than supervised approaches and $2.5 imes$ more often than non-learned baselines using the same resources.

研究の動機と目的

• グラフ上を広がる動的で部分観測可能なプロセス（例：感染症や誤情報の拡散）の制御という課題に対処すること。
• グラフ構造の意思決定問題における指数的状態空間と組み合わせ的行動空間を扱える、実用的な強化学習アプローチを設計すること。
• 限られたリソースのもとで、感染拡大を最小限に抑えるために、どのノードをリアルタイムでテストまたは隔離すべきかを優先順位づけること。
• 感染症の制御と個体数の保護という観点で、監視学習および非学習ベースのベースラインを上回ること。

提案手法

• 動的グラフ上でのノードテストと干渉の問題を、逐次的意思決定プロセスとして定式化する。
• グラフニューラルネットワーク（GNN）を用いて、感染拡大に与える影響の大きさに基づきノードを埋め込み・順位付けする。
• 強化学習（RL）を用いて、テストまたは隔離の優先度が高いノードを選択する方策を学習する。
• 時間的グラフダイナミクスと間接観測から学習することで、部分観測性を扱う。
• 最終的な感染規模の最小化や健康個体数の最大化といった長期的成果を最適化する。
• 干渉後の感染症の最終状態に基づく遅延報酬を用いて、RLエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 部分観測可能な動的グラフプロセスにおいて、強化学習エージェントは効果的にノードテストの優先順位を付けることができるか？
• RQ2 強化学習に基づくアプローチは、監視学習および非学習ベースのベースラインと比較して、感染症の制御においてどの程度優れているか？
• RQ3 GNNは、複雑な現実世界のグラフ構造におけるノード優先順位付けをどの程度向上させられるか？
• RQ4 RLGNフレームワークは、合成ネットワークおよび実際の細胞追跡データを含む多様なネットワークトポロジーに一般化可能か？

主な発見

• 同じテストリソースを用いた場合、RLGNはベースライン手法と比較して健康な個体数を25%増加させた。
• 本手法は、監視学習ベースラインと比較して、30%高い頻度で感染症を制御できた。
• 同じ干渉予算を用いた非学習ベースの手法と比較して、RLGNは2.5倍の高い制御成功率を達成した。
• コミュニティ構造、優先的付加、実際の細胞追跡ネットワークの3種類のネットワークタイプにおいて、本フレームワークはすべてのベースラインを一貫して上回った。
• GNNを用いたノード順位付けにより、部分観測性や組み合わせ的行動空間が存在する状況でも、効果的な優先順位付けが可能となった。