[论文解读] Encoding Distributional Soft Actor-Critic for Autonomous Driving in Multi-lane Scenarios

Jingliang Duan, Yangang Ren+6 more|arXiv (Cornell University)|Sep 12, 2021

Reinforcement Learning in Robotics参考文献 30被引用 5

一句话总结

本文提出了一种新型强化学习算法——编码分布软演员-critic（E-DSAC），用于多车道场景下的自动驾驶，通过使用排列不变的特征编码器，消除了对周围车辆排序规则的手动设定。E-DSAC在模拟和真实车辆实验中均实现了比DSAC高约三倍的策略回报，并展现出稳健、平顺且安全的驾驶表现，包括人在回路的干扰情况。

ABSTRACT

In this paper, we propose a new reinforcement learning (RL) algorithm, called encoding distributional soft actor-critic (E-DSAC), for decision-making in autonomous driving. Unlike existing RL-based decision-making methods, E-DSAC is suitable for situations where the number of surrounding vehicles is variable and eliminates the requirement for manually pre-designed sorting rules, resulting in higher policy performance and generality. We first develop an encoding distributional policy iteration (DPI) framework by embedding a permutation invariant module, which employs a feature neural network (NN) to encode the indicators of each vehicle, in the distributional RL framework. The proposed DPI framework is proved to exhibit important properties in terms of convergence and global optimality. Next, based on the developed encoding DPI framework, we propose the E-DSAC algorithm by adding the gradient-based update rule of the feature NN to the policy evaluation process of the DSAC algorithm. Then, the multi-lane driving task and the corresponding reward function are designed to verify the effectiveness of the proposed algorithm. Results show that the policy learned by E-DSAC can realize efficient, smooth, and relatively safe autonomous driving in the designed scenario. And the final policy performance learned by E-DSAC is about three times that of DSAC. Furthermore, its effectiveness has also been verified in real vehicle experiments.

研究动机与目标

• 为解决现有基于强化学习的决策方法在多车道自动驾驶中的局限性，特别是其对车辆排序的敏感性以及固定车辆数量的限制。
• 开发一种可泛化、可扩展的策略学习框架，无需为周围车辆设计手动排序规则。
• 在具有可变数量周围车辆的复杂动态交通环境中，提升策略性能与鲁棒性。
• 在模拟环境和真实车辆环境中验证所提方法的有效性，包括人在回路的干扰测试。

提出的方法

• 提出一种编码分布策略迭代（DPI）框架，在分布式强化学习设置中嵌入排列不变的神经网络（NN）特征编码器，用于编码车辆指标。
• 采用特征NN通过求和与拼接操作编码周围车辆的相对状态（如距离、速度），确保对输入顺序的不变性。
• 通过在策略评估过程中引入特征NN的梯度更新，扩展DSAC算法，实现表示与策略的端到端训练。
• 设计了一个多车道高速公路驾驶任务，采用结构化的奖励函数，以鼓励实现安全、高效且平顺的驾驶行为，如车道保持、变道和超车。
• 采用分布式强化学习框架建模回报分布，提升样本效率与策略鲁棒性。
• 通过模拟和真实车辆实验验证方法，包括人为方向盘干预，以测试其鲁棒性。

实验结果

研究问题

• RQ1 排列不变的表示学习框架是否能提升在可变数量周围车辆的多车道自动驾驶中的策略泛化能力与性能？
• RQ2 消除对周围车辆手动排序规则的需求，是否能提升复杂交通场景下的策略回报与鲁棒性？
• RQ3 所提出的E-DSAC算法是否在模拟和真实世界驾驶任务中均优于基线DSAC？
• RQ4 策略对人为引起的转向干扰如何响应，从而体现其鲁棒性与与人机共驾的兼容性？

主要发现

• 在模拟的多车道高速公路环境中，E-DSAC算法的最终策略回报约为DSAC的三倍。
• E-DSAC学习到的策略展现出平顺、高效且安全的自动驾驶行为，包括车道保持、变道和超车操作。
• 真实车辆实验表明，该策略能够成功应对人为引起的转向干扰，在接管后迅速将车辆恢复至正确轨迹。
• 即使周围车辆数量发生变化，策略仍保持高性能与稳定性，证实了该方法的鲁棒性与泛化能力。
• 编码DPI框架成功扩展至其他强化学习算法（如E-SAC、E-TD3、E-DDPG），展现出广泛的兼容性与一致的性能提升。
• 所提方法消除了对周围车辆预定义排序规则的需求，显著提升了在真实世界部署中的可扩展性与实用性。