[论文解读] HARL: A Novel Hierachical Adversary Reinforcement Learning for Automoumous Intersection Management

Guanzhou Li, Jian Wu+1 more|arXiv (Cornell University)|May 5, 2022

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

本文提出HARL，一种用于自动驾驶交叉口管理（AIM）的新型分层对抗式强化学习框架，将碰撞规避分为高层轨迹规划与低层速度调节两部分。通过采用具有不同观测范围、动作频率和奖励反馈周期的两级智能体，HARL在低至中等交通流量下将碰撞减少至零，同时相较LQF提升通行效率33.38%–55.04%，并在安全性和吞吐量方面优于单智能体强化学习方法。

ABSTRACT

As an emerging technology, Connected Autonomous Vehicles (CAVs) are believed to have the ability to move through intersections in a faster and safer manner, through effective Vehicle-to-Everything (V2X) communication and global observation. Autonomous intersection management is a key path to efficient crossing at intersections, which reduces unnecessary slowdowns and stops through adaptive decision process of each CAV, enabling fuller utilization of the intersection space. Distributed reinforcement learning (DRL) offers a flexible, end-to-end model for AIM, adapting for many intersection scenarios. While DRL is prone to collisions as the actions of multiple sides in the complicated interactions are sampled from a generic policy, restricting the application of DRL in realistic scenario. To address this, we propose a hierarchical RL framework where models at different levels vary in receptive scope, action step length, and feedback period of reward. The upper layer model accelerate CAVs to prevent them from being clashed, while the lower layer model adjust the trends from upper layer model to avoid the change of mobile state causing new conflicts. And the real action of CAV at each step is co-determined by the trends from both levels, forming a real-time balance in the adversarial process. The proposed model is proven effective in the experiment undertaken in a complicated intersection with 4 branches and 4 lanes each branch, and show better performance compared with baselines.

研究动机与目标

• 为解决在分布式强化学习用于自动驾驶交叉口管理（AIM）时，通用策略导致车辆交互不安全的问题。
• 通过在复杂车辆交互环境下实现实时、自适应决策，提升CAV在无信号交叉口的协调安全性与效率。
• 设计一种分层结构，区分高层战略规划与低层战术控制，以平衡碰撞规避与通行效率。
• 通过一种稳健、可扩展且安全的框架，克服集中式AIM（如可扩展性、时钟同步问题）与去中心化强化学习（如局部最优、碰撞风险）的局限性。

提出的方法

• 该框架采用两级分层结构：上层智能体专注于长期轨迹规划以避免碰撞，下层智能体则确保平稳的速度调节以防止新冲突。
• 上层智能体使用具有更广感受野和更长动作步长的软 actor-critic（SAC）模型，引导CAV以最优时间进入交叉口。
• 下层智能体使用SAC模型，具有更短的时间视野和更细粒度的反馈，以动态调整车辆速度，避免突变引发新冲突。
• 两级智能体通过对抗性协调共同决定实时动作，其中上层优先考虑安全性，下层确保稳定性和平滑过渡。
• 奖励函数采用不同的反馈周期：上层奖励强调长期安全与通行顺序，下层奖励聚焦于即时冲突规避与速度平滑性。
• 该框架在模拟的四岔、四车道交叉口环境中端到端训练，覆盖低、中、高流量等多种交通条件，以验证其在不同场景下的性能。

实验结果

研究问题

• RQ1 分层强化学习如何在不依赖集中协调的情况下提升分布式自动驾驶交叉口管理的安全性？
• RQ2 在多车交叉口场景中，高层轨迹规划与低层速度控制之间应如何实现最优分工？
• RQ3 两级智能体之间的对抗性协调是否能降低碰撞率，同时保持或提升相比基线强化学习与基于规则方法的通行效率？
• RQ4 不同的观测范围、动作频率与奖励反馈周期如何影响复杂交叉口环境中学习过程的稳定性与性能？
• RQ5 在不同交通条件下，所提出的HARL框架相较于单智能体强化学习与传统调度策略（如LQF、FCFS）在安全性与效率方面有多大的优势？

主要发现

• HARL框架在所有交通状况（低、中、高）下均将碰撞次数减少至零，而单智能体强化学习分别发生了185、688和996次碰撞。
• 在低流量条件下，HARL实现每辆车6.57秒的通行时间，相较LQF（13.80秒）提升55.04%，相较固定周期信号提升86.2%。
• 在高流量条件下，HARL维持零碰撞，通行时间仅为8.69秒，尽管效率与单智能体强化学习（8.01秒）相近，但在安全性方面表现更优。
• 在10,000次迭代的平均奖励曲线中，训练过程持续改善，表明训练稳定且有效，各智能体间呈现强正相关性。
• 该模型在填补空档并行穿越行为方面表现更优，能更高效利用可用时空间隙，相较FCFS与固定周期信号方法更具效率。
• 消融实验证实，HARL框架通过对抗性协调在高层规划与让行行为之间实现平衡，显著提升了安全性，尤其在高流量场景下表现突出。