[论文解读] Improving Sample Efficiency and Multi-Agent Communication in RL-based Train Rescheduling

Dano Roost, Ralph Meier+5 more|arXiv (Cornell University)|Apr 28, 2020

Railway Systems and Energy Efficiency参考文献 4被引用 1

一句话总结

本文提出了一种在Flatland环境中用于多智能体列车调整运行的样本高效强化学习方法，通过决策空间约束和课程学习提升训练收敛性。提出了两个关键假设：一是策略梯度方法可能因随机性而不适用于高后果环境；二是智能体间学习到的通信可显著改善协调——在双列车换轨任务中，使用通信的智能体成功率达95%，而无通信时仅为47%。

ABSTRACT

We present preliminary results from our sixth placed entry to the Flatland international competition for train rescheduling, including two improvements for optimized reinforcement learning (RL) training efficiency, and two hypotheses with respect to the prospect of deep RL for complex real-world control tasks: first, that current state of the art policy gradient methods seem inappropriate in the domain of high-consequence environments; second, that learning explicit communication actions (an emerging machine-to-machine language, so to speak) might offer a remedy. These hypotheses need to be confirmed by future work. If confirmed, they hold promises with respect to optimizing highly efficient logistics ecosystems like the Swiss Federal Railways railway network.

研究动机与目标

• 提升在复杂、高密度铁路环境中的多智能体强化学习在列车调整任务中的样本效率。
• 解决在高后果场景中策略梯度方法的随机性问题，因为单个错误动作可能引发不可逆的连锁反应。
• 探究多智能体强化学习是否能学习到有效的、显式的通信协议，以解决多智能体RL中的协调失败问题。
• 评估深度强化学习在现实世界物流系统（如瑞士联邦铁路网络）中的可行性。

提出的方法

• 使用A3C算法，基于深度最多为3层的铁路区段二叉树构建分层观测空间，并将其展平为固定大小的向量。
• 引入LSTM层以建模智能体感知与动作历史中的时间依赖性，相比非循环模型，将到达率提高了约11%。
• 通过在无道岔靠近时默认选择'直行'来缩小决策空间，使训练聚焦于关键决策点，将到达率从44.5%提升至82.9%。
• 通过逐步增加环境规模和智能体数量实施课程学习，使智能体在处理复杂场景前先掌握基础技能。
• 引入一种通信机制，包含五种动作类型、一个EOT（传输结束）信号以及一个共享缓冲区，以支持智能体间的协商。
• 采用自监督通信循环机制，智能体交替向缓冲区写入动作，直到双方均发出EOT信号，实现路径协商的协同。

实验结果

研究问题

• RQ1 通过约束决策空间并应用课程学习，是否能显著提升多智能体强化学习在列车调整任务中的样本效率？
• RQ2 策略梯度方法的随机性是否是高后果环境（如铁路交通控制）中的根本性限制？
• RQ3 多智能体强化学习能否学习到一种有效的、隐式的通信协议，以解决瓶颈场景中的协调问题？
• RQ4 学习到的通信在复杂多智能体导航任务中能在多大程度上提升性能？

主要发现

• 决策空间约束使100×100环境中14个智能体的到达率从44.5%提升至82.9%，显著提升了训练效率。
• 课程学习使策略在处理大规模密集环境前，先掌握基本路径规划与碰撞避免技能，否则从零开始训练会导致失败。
• 在双列车换轨任务中，使用学习通信的智能体成功率达95%，而无通信时仅为47%，证明了涌现协调的有效性。
• 通信协议在各轮次间差异显著，大多数轮次仅需1至4轮通信，表明通信是非冗余且上下文敏感的。
• LSTM增强模型相比其非循环基线模型，到达率提高了约11%，证实记忆在序列决策中的重要性。
• 尽管首轮表现强劲（排名第18），系统在第二轮仅取得29.1%的到达率，排名第6，表明在处理复杂密集交通场景方面仍存在持续挑战。