[论文解读] Characterization and Control of Diffusion Processes in Multi-Agent Networks

Wai Hong Ronald Chan, Matthias Wildemeersch+1 more|arXiv (Cornell University)|Aug 27, 2015

Opinion Dynamics and Social Influence参考文献 35被引用 4

一句话总结

该论文提出了一种基于加权有向图的随机框架，用于建模和控制多智能体网络中的扩散过程。该框架将动力学分类为保守型或非保守型，通过加权入度和出度拉普拉斯矩阵推导控制方程，并利用强化学习实现外部输入或网络结构修改的控制，从而在仿真中实现稳定收敛和目标稳态分布。

ABSTRACT

Diffusion processes are instrumental to describe the movement of a continuous quantity in a generic network of interacting agents. Here, we present a probabilistic framework for diffusion in networks and propose to classify agent interactions according to two protocols where the total network quantity is conserved or variable. For both protocols, our focus is on asymmetric interactions between agents involving directed graphs. Specifically, we define how the dynamics of conservative and non-conservative networks relate to the weighted in-degree Laplacian and the weighted out-degree Laplacian. Our framework allows the addition and subtraction of the considered quantity to and from a set of nodes. This enables the modeling of stubborn agents with time-invariant quantities, and the process of dynamic learning. We highlight several stability and convergence characteristics of our framework, and define the conditions under which asymptotic convergence is guaranteed when the network topology is variable. In addition, we indicate how our framework accommodates external network control and targeted network design. We show how network diffusion can be externally manipulated by applying time-varying input functions at individual nodes. Desirable network structures can also be constructed by adjusting the dominant diffusion modes. To this purpose, we propose a Markov decision process that learns these network adjustments through a reinforcement learning algorithm, suitable for large networks. The presented network control and design schemes enable flow modifications that allow the alteration of the dynamic and stationary behavior of the network in conservative and non-conservative networks.

研究动机与目标

• 开发一个统一的概率框架，用于建模具有非对称加权相互作用的多智能体网络中的连续扩散过程。
• 利用图拉普拉斯矩阵将网络动力学分类为保守型（数量守恒）和非保守型（数量可变）协议。
• 通过外部激励和结构修改实现网络控制，从而调控瞬态和稳态行为。
• 基于马尔可夫决策过程和强化学习设计自适应网络控制策略，适用于大规模网络。
• 在切换拓扑结构和时变输入条件下，证明收敛性和稳定性，并应用于顽固型智能体和动态学习场景。

提出的方法

• 将扩散建模为连续时间随机过程，其由有向加权图上的转移率矩阵控制的主方程 governing。
• 分别利用加权入度拉普拉斯矩阵和出度拉普拉斯矩阵定义保守型和非保守型协议，以捕捉数量守恒或变化的特性。
• 引入具有外部输入项的非齐次微分方程，以在节点处建模扩散量的外源性增加或减少。
• 应用状态空间控制理论解耦系统模态，并设计时变输入函数以实现对网络动力学的目标控制。
• 提出一种马尔可夫决策过程（MDP），通过在预生成的网络配置上选择动作来修改网络结构，奖励函数引导实现期望的稳态分布。
• 采用强化学习算法，参数设置为 μ=0.2, ε=0.4, γ=0.995，在 5×10⁶ 个时间步内学习最优网络调整，最终收敛至期望的稳态状态。

实验结果

研究问题

• RQ1 在非对称加权网络中，保守型与非保守型扩散协议在瞬态和稳态动力学上存在哪些差异？
• RQ2 在切换拓扑结构的网络中，扩散在何种条件下可实现渐近收敛？
• RQ3 如何设计外部输入以实现系统稳定并引导其向期望的稳态行为演化？
• RQ4 是否可以通过自适应修改网络结构实现控制目标，而无需直接干预节点层面？
• RQ5 强化学习在多大程度上可用于学习最优网络配置，以将稳态分布引导至目标节点？

主要发现

• 在适当的网络拓扑和输入函数条件下，该框架在保守型和非保守型网络中均实现渐近收敛。
• 外部输入（如建模顽固型智能体或动态学习）可通过非齐次微分方程嵌入，从而实现对系统行为的控制。
• 基于MDP的强化学习方法成功将稳态分布引导至目标节点（12 和 14），100次试验的平均稳态概率结果证实了这一点。
• 在5个动作下，质量函数 $V^{\ ext{\mathcal{Q}}}(1,W)$ 的学习曲线显示在 5×10⁶ 个时间步内实现收敛。
• 稳态分布显著偏向于两个目标节点（12 和 14），证实通过网络结构修改可实现有效控制。
• 该方法可通过战略性网络设计，实现对扩散主导模态的精准调控，从而在大规模网络中实现对扩散动力学的微观管理。