[論文レビュー] Characterization and Control of Diffusion Processes in Multi-Agent Networks

Wai Hong Ronald Chan, Matthias Wildemeersch+1 more|arXiv (Cornell University)|Aug 27, 2015

Opinion Dynamics and Social Influence参考文献 35被引用数 4

ひとこと要約

本稿では、重み付き有向グラフを用いたマルチエージェントネットワークにおける拡散過程のモデリングおよび制御のための確率的フレームワークを提案する。動的特性を保存的（量が保存される）または非保存的（量が変化する）に分類し、重み付き入次数および出次数ラプラシアンを用いて支配方程式を導出する。強化学習を用いた外部入力またはネットワーク構造の変更により制御を可能とし、シミュレーションで安定収束および標的の定常分布を達成する。

ABSTRACT

Diffusion processes are instrumental to describe the movement of a continuous quantity in a generic network of interacting agents. Here, we present a probabilistic framework for diffusion in networks and propose to classify agent interactions according to two protocols where the total network quantity is conserved or variable. For both protocols, our focus is on asymmetric interactions between agents involving directed graphs. Specifically, we define how the dynamics of conservative and non-conservative networks relate to the weighted in-degree Laplacian and the weighted out-degree Laplacian. Our framework allows the addition and subtraction of the considered quantity to and from a set of nodes. This enables the modeling of stubborn agents with time-invariant quantities, and the process of dynamic learning. We highlight several stability and convergence characteristics of our framework, and define the conditions under which asymptotic convergence is guaranteed when the network topology is variable. In addition, we indicate how our framework accommodates external network control and targeted network design. We show how network diffusion can be externally manipulated by applying time-varying input functions at individual nodes. Desirable network structures can also be constructed by adjusting the dominant diffusion modes. To this purpose, we propose a Markov decision process that learns these network adjustments through a reinforcement learning algorithm, suitable for large networks. The presented network control and design schemes enable flow modifications that allow the alteration of the dynamic and stationary behavior of the network in conservative and non-conservative networks.

研究の動機と目的

• 非対称的かつ重み付きの相互作用を有するマルチエージェントネットワークにおける連続的拡散過程を統合的にモデリングするための確率的フレームワークの構築。
• グラフラプラシアンを用いて、量が保存される（保存的）または変化する（非保存的）プロトコルにネットワーク動的特性を分類すること。
• 外部励起および構造的変更によるネットワーク制御を可能とし、一時的および定常的挙動の操作を可能とすること。
• マーカフ連鎖の制御と強化学習を用いた大規模ネットワークにおける適応的ネットワーク制御戦略の設計。
• 切り替え可能なトポロジーおよび時間変動入力下での収束性と安定性の検証。スタンブラー・エージェントおよび動的学習への応用を含む。

提案手法

• 重み付き有向グラフ上の遷移レート行列を用いたマスター方程式に従う連続時間確率過程として拡散をモデル化する。
• 重み付き入次数ラプラシアンと出次数ラプラシアンを用いて、それぞれ保存的および非保存的プロトコルを定義し、量の保存または変化を捉える。
• ノードにおける拡散量の外部的追加または削除をモデル化するため、外部入力項を含む非一様微分方程式を導入する。
• 状態空間制御理論を適用し、システムモードを分離し、目的の制御を実現するための時間変動入力関数を設計する。
• 事前に生成されたネットワーク構成からアクション選択によりネットワーク構造を変更するマーカフ意思決定過程（MDP）を提案し、報酬が望ましい定常分布を指向するように設計する。
• パラメータ μ=0.2、ε=0.4、γ=0.995 を有する強化学習アルゴリズムを用い、5×10⁶ ステップの学習期間中に最適なネットワーク調整を学習し、望ましい定常状態に収束する。

実験結果

リサーチクエスチョン

• RQ1 非対称的かつ重み付きネットワーク上での保存的および非保存的拡散プロトコルは、一時的および定常的挙動においてどのように異なるか？
• RQ2 切り替え可能なトポロジーを持つネットワークで、拡散が漸近的に収束する条件は何か？
• RQ3 外部入力をどのように設計すれば、システムの安定化および望ましい定常状態への誘導が可能になるか？
• RQ4 直接的なノードレベル干渉なしに、ネットワーク構造を適応的に変更することで制御目標を達成できるか？
• RQ5 強化学習を用いて、定常分布を標的ノードにシフトさせる最適なネットワーク構成を学習できる程度はどの程度か？

主な発見

• 適切なネットワークトポロジおよび入力関数の条件下で、保存的および非保存的ネットワークにおいて、本フレームワークは漸近的収束を達成する。
• 外部入力（例：スタンブラー・エージェントや動的学習をモデル化するもの）は非一様微分方程式に埋め込むことができ、システム挙動の制御を可能にする。
• MDPに基づく強化学習手法により、100回の試行の平均定常確率から、標的ノード（12および14）への定常分布の偏向が明確に確認された。
• 5つのアクションにおける品質関数 $V^{\ ext{\mathcal{Q}}}(1,W)$ の学習曲線は、5×10⁶ ステップ以内に収束を示した。
• 定常分布は、2つの標的ノード（12および14）に著しく偏向しており、ネットワーク構造の変更による効果的な制御が確認された。
• 戦略的なネットワーク設計により、大規模ネットワークでさえも、主要な拡散モードをシフトさせることで、拡散動的特性のミクロ管理が可能となった。