[论文解读] Model-free Deep Reinforcement Learning for Urban Autonomous Driving

Jianyu Chen, Bodi Yuan+1 more|arXiv (Cornell University)|Apr 20, 2019

Reinforcement Learning in Robotics参考文献 32被引用 29

一句话总结

该论文提出了一种无需模型的深度强化学习框架，用于城市自动驾驶，采用鸟瞰图输入表示和视觉编码以降低样本复杂度。该方法在高保真度环岛仿真环境中，成功使用SAC、TD3和DDQN训练智能体，实现了58%的到达目标点成功率，显著优于基线方法，并展现出稳健的多智能体交互学习能力。

ABSTRACT

Urban autonomous driving decision making is challenging due to complex road geometry and multi-agent interactions. Current decision making methods are mostly manually designing the driving policy, which might result in sub-optimal solutions and is expensive to develop, generalize and maintain at scale. On the other hand, with reinforcement learning (RL), a policy can be learned and improved automatically without any manual designs. However, current RL methods generally do not work well on complex urban scenarios. In this paper, we propose a framework to enable model-free deep reinforcement learning in challenging urban autonomous driving scenarios. We design a specific input representation and use visual encoding to capture the low-dimensional latent states. Several state-of-the-art model-free deep RL algorithms are implemented into our framework, with several tricks to improve their performance. We evaluate our method in a challenging roundabout task with dense surrounding vehicles in a high-definition driving simulator. The result shows that our method can solve the task well and is significantly better than the baseline.

研究动机与目标

• 解决在高维观测和多智能体交互的复杂城市环境中，人工设计驾驶策略的局限性。
• 通过使用结构化的输入表示，克服端到端深度强化学习在自动驾驶中样本复杂度高和泛化能力差的问题。
• 在无需专家示范的情况下，实现模型-free深度强化学习算法在真实城市驾驶场景中的有效训练。
• 通过量身定制的网络架构和训练优化，提升样本效率和学习稳定性。
• 评估所学策略在密集交互交通场景中的鲁棒性和泛化能力。

提出的方法

• 设计一种鸟瞰图输入表示，通过彩色边界框编码车辆位置、车道和目标点，并利用渐变颜色隐式编码速度信息。
• 使用卷积神经网络将高维视觉输入编码为低维潜在状态，降低观测空间的复杂度。
• 实现最先进的无模型深度强化学习算法：DDQN、TD3和SAC，并对探索策略、帧跳过和奖励塑造进行修改。
• 应用帧跳过和奖励塑造，强调保持安全距离、及时驶出和路径跟随，以引导策略学习。
• 使用高保真度驾驶模拟器（CARLA）在最多100辆周围车辆的逼真环岛环境中训练和评估策略。
• 采用基于CNN的自编码器进行视觉编码，以重建输入状态，使智能体能够聚焦于相关空间和时间动态。

实验结果

研究问题

• RQ1 在具有密集交通的复杂城市场景中，采用结构化输入表示的无模型深度强化学习框架能否学习到有效的驾驶策略？
• RQ2 输入表示的选择（鸟瞰图与前视图像）在自动驾驶中如何影响样本效率和策略性能？
• RQ3 在无专家示范的情况下，最先进的深度强化学习算法（SAC、TD3、DDQN）在具有挑战性的城市驾驶任务中能实现多大程度的泛化？
• RQ4 输入状态的视觉编码在提升学习稳定性和降低样本复杂度方面起到何种作用？
• RQ5 不同的探索策略和训练技巧在多智能体城市环境中的策略收敛性和成功率方面有何影响？

主要发现

• SAC在140个训练周期后实现了58%的最高目标点到达成功率，显著优于DDQN（0%）和TD3（0%）。
• 使用SAC训练的本车成功穿越环岛，主动避让对向来车并做出恰当的变道操作，展现出稳健的多智能体交互能力。
• DDQN和TD3在首个出口后成功率持续下降，第二个出口时分别降至2%和0%，表明其探索能力差，难以处理复杂交互。
• 基线方法完全失败，陷入局部最优并反复右转，凸显了基础DQN在复杂场景中的局限性。
• 失败案例主要由追尾碰撞导致，表明尽管采用了渐变颜色编码，当前输入表示中速度信息仍捕捉不足。
• 视觉编码过程有效降低了输入维度，但同时也削弱了重构图像中速度线索的可见性，表明需要改进状态表示。