[论文解读] Multi-Agent Q-Learning Aided Backpressure Routing Algorithm for Delay Reduction

Juntao Gao, Yulong Shen+2 more|arXiv (Cornell University)|Aug 23, 2017

Network Traffic and Congestion Control被引用 5

一句话总结

本文提出了一种多智能体Q-learning辅助的反向压力（QL-BP）路由算法，使每个节点仅通过邻近节点的本地信息即可估计路由拥塞情况，显著提升了延迟性能，相较于最先进的BPmin算法，轻载情况下平均分组延迟降低95%，中载情况下降低41%。该方法通过去中心化的Q-learning智能体迭代优化拥塞估计，仅依赖本地队列长度和路由数据，在保持分布式运行、计算复杂度低以及吞吐量最优的前提下，实现了优异性能。

ABSTRACT

In queueing networks, it is well known that the throughput-optimal backpressure routing algorithm results in poor delay performance for light and moderate traffic loads. To improve delay performance, state-of-the-art backpressure routing algorithm (called BPmin [1]) exploits queue length information to direct packets to less congested routes to their destinations. However, BPmin algorithm estimates route congestion based on unrealistic assumption that every node in the network knows real-time global queue length information of all other nodes. In this paper, we propose multi-agent Q-learning aided backpressure routing algorithm, where each node estimates route congestion using only local information of neighboring nodes. Our algorithm not only outperforms state-of-the-art BPmin algorithm in delay performance but also retains the following appealing features: distributed implementation, low computation complexity and throughput-optimality. Simulation results show our algorithm reduces average packet delay by 95% for light traffic loads and by 41% for moderate traffic loads when compared to state-of-the-art BPmin algorithm.

研究动机与目标

• 为解决传统反向压力路由在轻载和中载流量下延迟性能差的问题，即过度的路由探索导致长时间延迟。
• 克服BPmin中节点需实时获取全局队列长度信息以进行拥塞估计的不切实际假设。
• 设计一种分布式、低复杂度的路由算法，在仅使用本地信息的前提下，保持吞吐量最优性，同时显著改善延迟性能。
• 通过消除对全局状态知识的依赖，实现动态网络（如自组织网和传感器网）中的可扩展性和实际部署。

提出的方法

• 每个网络节点部署多个Q-learning智能体，每个智能体负责基于邻近节点提供的本地信息来估计路由拥塞情况。
• 每个Q-learning智能体通过Q-learning更新规则，利用相邻节点的实时队列长度和拥塞估计值来更新自身的拥塞估计。
• 该算法使用队列长度和路由决策的加权和，引导分组选择更少拥塞的路径，从而在保持吞吐量最优性的同时最小化延迟。
• Q-learning智能体以去中心化方式运行，使每个节点能够独立做出路由决策，无需集中协调。
• 系统通过从本地反馈中学习，动态平衡路由选择中的探索与利用，随时间推移逐步改进拥塞估计。
• 该算法在形式上被证明在与经典反向压力算法相同的条件下保持吞吐量最优性，尽管仅依赖本地信息。

实验结果

研究问题

• RQ1 反向压力路由算法能否在不依赖队列长度全局知识的前提下，实现显著低于BPmin的延迟？
• RQ2 通过多智能体Q-learning实现的本地去中心化拥塞估计，如何改善排队网络中的延迟性能？
• RQ3 基于Q-learning的本地估计在多大程度上可匹配或超越依赖全局状态信息的算法性能？
• RQ4 所提出的算法是否在轻载和中载流量条件下保持吞吐量最优性，同时降低延迟？
• RQ5 在完全分布式的路由框架中，延迟降低与计算复杂度之间存在何种权衡？

主要发现

• 在轻载流量条件下，所提出的QL-BP算法相较于BPmin算法，将平均分组延迟降低了95%。
• 在中载流量条件下，QL-BP算法相较于BPmin实现了平均分组延迟41%的降低。
• 该算法保持了吞吐量最优性，确保在网络动态且不确定的条件下仍能实现最大网络容量利用率。
• 仅使用本地信息使算法具备可扩展性和分布式部署能力，无需交换全局状态信息。
• 仿真结果证实，QL-BP算法在延迟和可扩展性方面均优于BPmin，尤其在低至中载流量区间表现更优。
• Q-learning智能体收敛至稳定拥塞估计的过程已通过实验验证，且在多种网络拓扑中均表现出一致的性能提升。