[論文レビュー] Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

Eli A. Meirom, Haggai Maron+2 more|arXiv (Cornell University)|Oct 11, 2020

Advanced Graph Neural Networks被引用数 13

ひとこと要約

本稿では、感染拡大やインフルエンス最大化などの部分観測下における時系列グラフ上の動的プロセスを制御するため、グラフニューラルネットワーク（GNN）を用いた強化学習（RL）フレームワークを提案する。部分的でノイズの多い観測や不完全な情報にもかかわらず、局所的ダイナミクスと長距離情報伝達をモデル化する二重ストリームGNNアーキテクチャを採用し、効果的なノード干渉順序のランキングを実現する。疫病制御およびインフルエンス最大化タスクにおいて、最先端の性能を達成する。

ABSTRACT

We consider the problem of controlling a partially-observed dynamic process on a graph by a limited number of interventions. This problem naturally arises in contexts such as scheduling virus tests to curb an epidemic; targeted marketing in order to promote a product; and manually inspecting posts to detect fake news spreading on social networks. We formulate this setup as a sequential decision problem over a temporal graph process. In face of an exponential state space, combinatorial action space and partial observability, we design a novel tractable scheme to control dynamical processes on temporal graphs. We successfully apply our approach to two popular problems that fall into our framework: prioritizing which nodes should be tested in order to curb the spread of an epidemic, and influence maximization on a graph.

研究の動機と目的

• 制限された干渉と部分観測、組み合わせ的行動空間の下で、グラフ上の拡散的プロセスを制御する課題に対処すること。
• ノード状態が時系列に伴い時間付きの相互作用を通じて変化する時系列グラフダイナミクスをモデル化すること。
• 予測された下流への影響に基づいて干渉対象ノードの順位付けを行う、スケーラブルで微分可能なフレームワークを設計すること。
• ノード状態の不確実性（例：潜伏状態や感染初期状態）を扱い、ネットワーク全体にわたる信念更新を伝搬すること。
• 大規模グラフ干渉問題において、ヒューリスティック法およびモンテカルロベースラインのスケーラビリティと性能を凌駕すること。

提案手法

• 時間付きエッジを有する時系列グラフ上で、部分観測マルコフ決定過程（POMDP）として問題を定式化する。
• 二重ストリームGNNアーキテクチャを採用：一方は局所的ダイナミクスのモデル化に、もう一方は長距離情報伝達に使用する。
• 期待インフルエンスを最大化または感染拡大を最小化するように介入方策を学習するため、アクター・クリティックRLアルゴリズムを用いる。
• 観測された相互作用とノード状態の変化からマルチグラフを構築し、時系列的依存関係を表現する。
• 感染確率の信念更新を計算するために動的計画法を統合し、伝播遅延や潜伏状態を考慮する。
• GNNのメッセージパッシング中に、近隣ノードからの情報集約を安定化させ、学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノード状態が部分的にしか観測できない状況で、時間とともに変化するシステムにおいて、グラフ上の動的プロセスを効果的に制御する方法は何か？
• RQ2 感染拡大を最小限に抑えるかインフルエンスを最大化するための小さなノード集合を選択する最適な戦略は何か？
• RQ3 局所的観測しか得られない状況で、ノード状態の信念における長距離依存関係をどのようにモデル化できるか？
• RQ4 GNNを組み込んだ深層RLフレームワークは、グラフ干渉タスクにおいてヒューリスティック法およびモンテカルロベースラインを、スケーラビリティと性能の両面で上回れるか？
• RQ5 ノイズ多きく遅延があり、部分的な観測である状況下で、GNNベースのポリシーの学習をどのように安定化できるか？

主な発見

• 提案手法は、疫病制御およびインフルエンス最大化ベンチマークにおいて、ヒューリスティック法およびモンテカルロベースラインを上回る最先端の性能を達成した。
• 二重ストリームGNNアーキテクチャは、局所的ダイナミクスと長距離信念伝達を効果的に捉えており、干渉ポリシーの質を向上させた。
• モンテカルロ法が計算的に非現実的になる規模の大きなグラフ（最大10^4ノード）に対しても、本手法はスケーラブルに動作した。
• 伝播遅延モデルを用いた動的信念更新は、感染拡大の予測精度を顕著に向上させた。
• GNNにおける安定化されたメッセージパッシングは、標準的なGNNと比較して学習収束性とポリシー性能を向上させた。
• 時系列グラフ処理を統合したアクター・クリティックRLフレームワークにより、部分観測下での干渉ポリシーのエンドツーエンド学習が可能になった。