[论文解读] A Multi-Agent, Policy-Gradient approach to Network Routing

Nigel Tao, Jonathan Baxter+1 more|ArXiv.org|Dec 2, 2025

Network Traffic and Congestion Control被引用 55

一句话总结

本文将网络路由视为一个多智能体、部分可观测的马尔可夫决策过程，并使用多智能体策略梯度方法（Olpomdp）在没有显式智能体间通信的情况下优化平均分组传输时间，同时进行奖励整形以提升收敛性。

ABSTRACT

Network routing is a distributed decision problem which naturally admits numerical performance measures, such as the average time for a packet to travel from source to destination. OLPOMDP, a policy-gradient reinforcement learning algorithm, was successfully applied to simulated network routing under a number of network models. Multiple distributed agents (routers) learned co-operative behavior without explicit inter-agent communication, and they avoided behavior which was individually desirable, but detrimental to the group's overall performance. Furthermore, shaping the reward signal by explicitly penalizing certain patterns of sub-optimal behavior was found to dramatically improve the convergence rate.

研究动机与目标

• 将路由问题建模为一个分布式、无模型的优化问题，使用强化学习来解决。
• 提出一个多智能体策略梯度框架，使路由器成为具有本地策略的独立智能体。
• 证明通过共享奖励信号可以在没有显式智能体间通信的情况下实现协作路由。
• 证明对奖励信号的整形能够显著加速收敛。

提出的方法

• 将网络路由建模为一个多智能体、部分可观测的MDP（POMDP）。
• 对每个目的地，将每个路由器的策略参数化为对外出链路的Gibbs分布。
• 使用 Olpomdp，一种带资格迹的联在线策略梯度更新，以沿着长期平均奖励梯度（等价于负的总传输时间）上升。
• 更新规则：theta_{t+1} = theta_t + gamma_t * r_t * z_t，且 z_{t+1} = beta*z_t + (nabla mu / mu)。
• 采用来自 Olpomdp 的带偏梯度估计，以实现在线的分布式学习，而不需要完整的网络可观测性。

实验结果

研究问题

• RQ1 多个分布式路由器是否能够仅使用本地观测和全局奖励信号来学习协作路由策略？
• RQ2 策略梯度方法是否在某些网络设置中产生优于确定性策略的混合（非确定性）路由策略？
• RQ3 奖励整形（对循环或次优模式进行惩罚）是否在不牺牲最优性的前提下提高收敛速度？
• RQ4 在不同网络模型下，该方法的表现如何，包括链路时延、容量和节点流成本（Braess型网络）？

主要发现

• 路由器在无需显式智能体间通信的情况下学习出最小化平均分组行程时间的协作路由策略。
• 策略梯度学习可以在某些场景下产生优于任何确定性策略的混合策略 inهم some scenarios。
• 通过惩罚次优模式（例如循环）来整形奖励，能显著提高收敛速度。
• 该方法在多种网络模型中展示了最优或接近最优的路由能力，包括 Braess-like 网络，在这些网络中传统路由可能失败。