[论文解读] Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars

Ran Emuna, Avinoam Borowsky+1 more|arXiv (Cornell University)|Jun 7, 2020

Autonomous Vehicle Technology and Safety参考文献 42被引用 21

一句话总结

本文提出了一种无模型的深度强化学习（DRL）方法，用于在双车道高速公路上的静态障碍物避让任务中模仿专家人类驾驶行为。通过将基于规则的驾驶约束与基于数据的专家示范相结合，利用随机奖励函数，该方法生成了与人类驾驶行为高度相似的驾驶策略，其轨迹位置和速度分布的均值与方差均接近人类，且在视觉图灵测试中表现接近人类水平。

ABSTRACT

The technological and scientific challenges involved in the development of autonomous vehicles (AVs) are currently of primary interest for many automobile companies and research labs. However, human-controlled vehicles are likely to remain on the roads for several decades to come and may share with AVs the traffic environments of the future. In such mixed environments, AVs should deploy human-like driving policies and negotiation skills to enable smooth traffic flow. To generate automated human-like driving policies, we introduce a model-free, deep reinforcement learning approach to imitate an experienced human driver's behavior. We study a static obstacle avoidance task on a two-lane highway road in simulation (Unity). Our control algorithm receives a stochastic feedback signal from two sources: a model-driven part, encoding simple driving rules, such as lane-keeping and speed control, and a stochastic, data-driven part, incorporating human expert knowledge from driving data. To assess the similarity between machine and human driving, we model distributions of track position and speed as Gaussian processes. We demonstrate that our approach leads to human-like driving policies.

研究动机与目标

• 开发一种自驾车策略，以在混合交通环境中模仿有经验的人类驾驶员的行为。
• 将基于规则的驾驶约束（如车道保持、速度控制）与来自真实驾驶数据的数据驱动专家知识相结合。
• 通过运动学特征分布的统计方法，评估机器与人类驾驶行为的相似性。
• 在具有未见过的障碍物分布的新道路配置上，测试所学策略的泛化能力。
• 评估机器驱动的智能体是否能通过视觉图灵测试，使观察者难以分辨其为人类驾驶。

提出的方法

• 使用近端策略优化（PPO）训练深度强化学习智能体，采用结合模型驱动规则与数据驱动专家行为的混合奖励函数。
• 奖励函数整合了来自两个来源的随机反馈：基于规则的组件（如车道保持、速度控制）以及通过高斯过程对轨迹位置和速度建模的人类专家数据。
• 使用高斯过程对人类驾驶的状态分布进行建模，以捕捉均值行为和变异性（一阶与二阶矩）。
• 仿真环境基于Unity构建，包含一条4.7公里长的双车道高速公路，静态障碍物可任意放置。
• 在2019年以色列机器人会议（ICR 2019）上开展了视觉图灵测试，参与者观看人类与智能体驾驶的录像片段，以区分两者。
• 在具有不同障碍物分布的新道路路径上评估泛化性能，包括交替分布、随机分布和成批分布的障碍物。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在静态障碍物避让任务中成功模仿人类驾驶行为的均值与方差？
• RQ2 从专家数据中引入随机反馈如何影响策略在新障碍物分布上的泛化能力？
• RQ3 机器驱动的智能体在多大程度上能通过视觉图灵测试，使观察者认为其行为具有人类特征？
• RQ4 在训练中未见过的新型场景（如高曲率弯道）中，智能体表现如何？
• RQ5 基于规则的约束与数据驱动的专家知识在实现人类相似驾驶行为中的相对贡献是什么？

主要发现

• 智能体成功再现了人类驾驶行为的一阶与二阶矩，尤其在轨迹位置方面表现良好；由于部分可观测性，速度匹配略显不足。
• 与确定性奖励函数相比，随机奖励函数显著提升了泛化能力，使智能体在具有多样化障碍物分布的新道路上成功避让所有障碍物。
• 在ICR 2019的视觉图灵测试中，60%的参与者未能正确识别出机器驱动的智能体，表明其行为具有极强的人类相似性。
• 在训练数据中未出现的高曲率弯道路段，智能体未能成功避让障碍物，凸显其在显著新颖场景下泛化能力的局限性。
• 该方法表明，通过随机奖励函数将基于规则的约束与数据驱动的专家知识相结合，可在仿真中生成高效且类人的驾驶策略。
• 使用特定超参数（如学习率1e-1、折扣因子γ=0.98、截断ε=0.2）的PPO进行超参数调优，实现了稳定的训练与策略收敛。