[论文解读] Hybrid Reinforcement Learning-Based Eco-Driving Strategy for Connected and Automated Vehicles at Signalized Intersections

Zhengwei Bai, Hao Peng+3 more|arXiv (Cornell University)|Jan 19, 2022

Traffic control and management被引用 4

一句话总结

该论文提出了一种混合强化学习（HRL）框架，将基于规则的策略与深度强化学习相结合，以实现在混合交通环境下信号交叉口的智能节能驾驶。通过融合视觉感知数据与车路通信（V2I），HRL模型优化了纵向和横向驾驶行为，在基于Unity的仿真中，与最先进的基于模型的方法相比，能耗降低12.70%，行程时间减少11.75%。

ABSTRACT

Taking advantage of both vehicle-to-everything (V2X) communication and automated driving technology, connected and automated vehicles are quickly becoming one of the transformative solutions to many transportation problems. However, in a mixed traffic environment at signalized intersections, it is still a challenging task to improve overall throughput and energy efficiency considering the complexity and uncertainty in the traffic system. In this study, we proposed a hybrid reinforcement learning (HRL) framework which combines the rule-based strategy and the deep reinforcement learning (deep RL) to support connected eco-driving at signalized intersections in mixed traffic. Vision-perceptive methods are integrated with vehicle-to-infrastructure (V2I) communications to achieve higher mobility and energy efficiency in mixed connected traffic. The HRL framework has three components: a rule-based driving manager that operates the collaboration between the rule-based policies and the RL policy; a multi-stream neural network that extracts the hidden features of vision and V2I information; and a deep RL-based policy network that generate both longitudinal and lateral eco-driving actions. In order to evaluate our approach, we developed a Unity-based simulator and designed a mixed-traffic intersection scenario. Moreover, several baselines were implemented to compare with our new design, and numerical experiments were conducted to test the performance of the HRL model. The experiments show that our HRL method can reduce energy consumption by 12.70% and save 11.75% travel time when compared with a state-of-the-art model-based Eco-Driving approach.

研究动机与目标

• 为解决在信号交叉口混合交通中，传统基于规则或基于模型的方法因不切实际的假设而失效，导致交通效率与能耗效率难以提升的问题。
• 开发一种混合强化学习框架，结合基于规则的安全与效率策略以及深度强化学习，实现在复杂交通环境中的自适应、实时节能驾驶。
• 利用V2I通信与车载传感器（摄像头、雷达）提升情境感知能力，实现协调一致、节能高效的车辆轨迹。
• 在不同车辆渗透率和信号配时条件下，在真实仿真环境中评估HRL框架的性能。
• 在能耗节约与行程时间减少方面，证明HRL框架优于现有基于模型和图结构的节能驾驶方法。

提出的方法

• HRL框架由基于规则的驾驶管理器构成，负责协调基于规则的策略与深度强化学习策略，以确保安全与效率。
• 多流神经网络处理来自前向摄像头、车载雷达、OBD以及V2I信号的时空数据，提取用于决策的隐含特征。
• 基于深度强化学习的策略网络利用长短期奖励（LSTR）模型生成纵向加速度与横向车道目标动作，平衡即时收益与长期收益。
• 系统在基于Unity的仿真器中进行训练与评估，仿真场景为包含联网自动驾驶车辆（CAVs）与人工驾驶车辆（HVs）的混合交通交叉口。
• 框架利用来自V2I的信号相位与配时（SPaT）和几何交叉口描述（GID）数据，预测信号变化并优化接近速度。
• 性能基准对比基于图模型与智能驾驶员模型（IDM），消融研究包含再生制动功能，以验证框架的鲁棒性。

实验结果

研究问题

• RQ1 混合强化学习框架能否有效结合基于规则的安全性与深度强化学习，在信号交叉口混合交通中实现节能驾驶？
• RQ2 V2I与车载视觉数据的融合相比纯基于模型或基于规则的方法，如何提升能耗效率与行程时间表现？
• RQ3 不同信号配时与车辆渗透率对HRL节能驾驶策略性能有何影响？
• RQ4 在真实混合交通条件下，HRL模型是否在能耗与时间效率方面优于最先进的基于模型方法？
• RQ5 HRL模型在入口速度与时间方面是否存在最优工作区域？其对性能有何影响？

主要发现

• 在全部21组测试场景中，HRL方法相比最先进的图模型，平均能耗降低12.70%，行程时间减少11.75%。
• 在最理想条件下（入口速度30 km/h，信号相位C50），HRL模型相比图模型实现能耗降低42.94%、行程时间减少55.83%。
• 启用再生制动后，HRL方法相比图模型与IDM分别实现能耗降低23.60%与41.59%，证实其鲁棒性与可扩展性。
• 在21组能耗场景与27组行程时间场景中，HRL框架均优于IDM，表现出一致的优越性能。
• 性能提升的热力图显示，当车辆以中等速度与最佳时机进入交叉口时，HRL模型表现最佳，表明存在明确的性能优势区域。
• 该框架在不同信号相位与交通条件下均保持稳定的性能增益，验证了其在动态混合交通环境中的适应能力。