[论文解读] Delay-Aware Multi-Agent Reinforcement Learning.

Baiming Chen, Mengdi Xu+3 more|arXiv (Cornell University)|May 11, 2020

Traffic control and management参考文献 32被引用 6

一句话总结

本文提出了一种延迟感知的多智能体强化学习框架，通过延迟感知马尔可夫博弈对动作和观测延迟进行建模，实现集中式训练与分布式执行，以缓解非平稳性及性能下降问题。实验表明，在存在延迟的环境中，包括合作导航、通信、竞争以及现实世界交通协调等任务中，性能显著提升。

ABSTRACT

Action and observation delays exist prevalently in the real-world cyber-physical systems which may pose challenges in reinforcement learning design. It is particularly an arduous task when handling multi-agent systems where the delay of one agent could spread to other agents. To resolve this problem, this paper proposes a novel framework to deal with delays as well as the non-stationary training issue of multi-agent tasks with model-free deep reinforcement learning. We formally define the Delay-Aware Markov Game that incorporates the delays of all agents in the environment. To solve Delay-Aware Markov Games, we apply centralized training and decentralized execution that allows agents to use extra information to ease the non-stationary issue of the multi-agent systems during training, without the need of a centralized controller during execution. Experiments are conducted in multi-agent particle environments including cooperative communication, cooperative navigation, and competitive experiments. We also test the proposed algorithm in traffic scenarios that require coordination of all autonomous vehicles to show the practical value of delay-awareness. Results show that the proposed delay-aware multi-agent reinforcement learning algorithm greatly alleviates the performance degradation introduced by delay. Codes available at: this https URL.

研究动机与目标

• 解决现实世界多智能体网络物理系统中动作与观测延迟的挑战。
• 应对多智能体强化学习中因智能体交互延迟导致的非平稳训练问题。
• 开发一种无需推理阶段集中控制器的无模型深度强化学习方法，显式考虑训练过程中的延迟。
• 在复杂协调任务（如自动驾驶车辆交通管理）中展示其实际适用性。

提出的方法

• 正式定义一种延迟感知马尔可夫博弈，将所有智能体的延迟整合进环境动态中。
• 采用集中式训练，利用延迟的状态与动作历史记录以稳定学习并减少非平稳性。
• 分布式执行使智能体基于本地观测与内部记忆进行决策，避免依赖中心控制器。
• 在类似多智能体DQN的架构中引入经验回放与目标网络，以在延迟反馈下稳定训练。
• 将延迟观测与动作整合进智能体的经验回放缓冲区，以保留时间依赖性。
• 采用基于值的深度强化学习方法，结合延迟的状态-动作对，提升延迟环境中的策略学习效果。

实验结果

研究问题

• RQ1 动作与观测延迟如何在多智能体强化学习中导致性能下降？
• RQ2 利用延迟信息的集中式训练是否能提升延迟多智能体环境中的学习稳定性与性能？
• RQ3 延迟感知建模在合作与竞争型多智能体任务中，能在多大程度上减少性能下降？
• RQ4 所提出方法在自动驾驶车辆协调等现实场景中（如存在通信延迟时）的泛化能力如何？

主要发现

• 所提算法显著降低了合作导航与通信任务中由延迟引起的性能下降。
• 在竞争型多智能体环境中，与标准多智能体强化学习相比，延迟感知方法在延迟反馈下仍能维持或提升性能。
• 即使在较大延迟下，该方法仍能实现稳定训练与收敛，优于基线算法在延迟马尔可夫博弈中的表现。
• 在交通协调场景中，该算法在存在通信与感知延迟的情况下，仍能实现自动驾驶车辆间的有效协调。
• 集中式训练与分布式执行策略有效缓解了非平稳性，且在推理阶段无需实时协调。
• 实证结果证实，显式建模延迟可显著提升现实应用场景下多智能体策略的鲁棒性与可靠性。