[论文解读] An Auto-tuning Framework for Autonomous Vehicles

Haoyang Fan, Zhongpu Xia+3 more|arXiv (Cornell University)|Aug 14, 2018

Autonomous Vehicle Technology and Safety参考文献 11被引用 14

一句话总结

本文提出了一种基于数据驱动的自动调参框架，用于四级自动驾驶车辆运动规划器，采用一种新颖的基于排名的条件逆强化学习（RC-IRL）算法。该框架通过在专家驾驶数据上进行离线训练并实现自动标注，实现了高效、安全且全自动的奖励函数调优，在模拟环境和真实道路测试中均实现了100%无碰撞性能，并在超过25,000英里的测试中展现出优异的轨迹平滑性。

ABSTRACT

Many autonomous driving motion planners generate trajectories by optimizing a reward/cost functional. Designing and tuning a high-performance reward/cost functional for Level-4 autonomous driving vehicles with exposure to different driving conditions is challenging. Traditionally, reward/cost functional tuning involves substantial human effort and time spent on both simulations and road tests. As the scenario becomes more complicated, tuning to improve the motion planner performance becomes increasingly difficult. To systematically solve this issue, we develop a data-driven auto-tuning framework based on the Apollo autonomous driving framework. The framework includes a novel rank-based conditional inverse reinforcement learning algorithm, an offline training strategy and an automatic method of collecting and labeling data. Our auto-tuning framework has the following advantages that make it suitable for tuning an autonomous driving motion planner. First, compared to that of most inverse reinforcement learning algorithms, our algorithm training is efficient and capable of being applied to different scenarios. Second, the offline training strategy offers a safe way to adjust the parameters before public road testing. Third, the expert driving data and information about the surrounding environment are collected and automatically labeled, which considerably reduces the manual effort. Finally, the motion planner tuned by the framework is examined via both simulation and public road testing and is shown to achieve good performance.

研究动机与目标

• 解决在多样化驾驶场景下，手动调优自动驾驶运动规划器奖励/成本函数的挑战。
• 通过使用专家驾驶数据进行安全的离线学习，减少人工训练中的工作量和风险。
• 通过自动化数据采集与标注，提升在复杂及长尾驾驶场景下的泛化能力与性能。
• 开发一种可扩展的端到端框架，兼容阿波罗自动驾驶平台。
• 通过仿真和广泛的实地道路测试验证该框架的有效性。

提出的方法

• 该框架采用一种新颖的基于排名的条件逆强化学习（RC-IRL）算法，从专家示范中学习奖励函数。
• 采用孪生神经网络架构，比较专家轨迹与生成轨迹，基于与专家行为的相似性学习排序。
• 通过在时间步上共享参数，对时间衰减奖励函数进行建模，以保持轨迹评估的一致性。
• 利用环境上下文和自车状态特征，自动采集并标注专家驾驶数据，显著降低人工标注工作量。
• 在筛选后的7.18亿帧和28亿条采样轨迹数据集上进行离线训练，避免在线训练的安全风险。
• 使用随机梯度下降结合ADAM或RMSProp优化奖励函数，约在2个周期内收敛。

实验结果

研究问题

• RQ1 基于数据的自动调参框架是否能减少人工调优自动驾驶车辆运动规划器奖励函数的工作量和时间？
• RQ2 所提出的基于排名的条件IRL方法与标准的GAN方法相比，在学习有效奖励函数方面表现如何？
• RQ3 该框架是否能在多样化驾驶场景（包括复杂和长尾情况）下实现泛化，同时不牺牲安全性或轨迹平滑性？
• RQ4 使用自动标注数据进行离线训练在多大程度上能保持与在线或人工调优相当的性能？
• RQ5 通过该框架调优的运动规划器在真实世界中的表现如何，其安全性与轨迹质量如何？

主要发现

• 使用自动调参框架调优的运动规划器在模拟环境中3,400多个测试案例中实现了100%无碰撞性能。
• 基于SIAMESE的RC-IRL方法在纵向加速度约束（|a_station| < 4.0）下实现了99.33%的合规率，优于GAN基线的86.80%。
• 该框架在纵向急动量约束（|j_station| < 6.0）下实现了97.77%的合规率，而GAN方法仅为71.20%。
• 经验证，调优后的奖励函数在公共道路上运行超过25,000英里，自2018年4月2日起表现出稳健性能。
• SIAMESE网络学习到的时间折扣因子在分布对齐性上优于GAN基线方法，更贴近专家行为分布。
• 离线训练策略实现了安全的参数调优，无需训练期间的实时反馈，显著提升了系统安全性。