[论文解读] Efficient Learning of Safe Driving Policy via Human-AI Copilot Optimization

Quanyi Li, Zhenghao Peng+1 more|arXiv (Cornell University)|Feb 17, 2022

Autonomous Vehicle Technology and Safety被引用 15

一句话总结

本文提出人类-人工智能协作优化（HACO），一种人在回路的强化学习方法，在确保自动驾驶训练安全的同时最小化人类干预。通过利用部分人类示范和代理价值函数，HACO在极低的人类资源预算下实现了高样本效率，并在未见过的环境中展现出卓越的安全性和泛化能力，优于传统的强化学习与模仿学习基线方法。

ABSTRACT

Human intervention is an effective way to inject human knowledge into the training loop of reinforcement learning, which can bring fast learning and ensured training safety. Given the very limited budget of human intervention, it remains challenging to design when and how human expert interacts with the learning agent in the training. In this work, we develop a novel human-in-the-loop learning method called Human-AI Copilot Optimization (HACO).To allow the agent's sufficient exploration in the risky environments while ensuring the training safety, the human expert can take over the control and demonstrate how to avoid probably dangerous situations or trivial behaviors. The proposed HACO then effectively utilizes the data both from the trial-and-error exploration and human's partial demonstration to train a high-performing agent. HACO extracts proxy state-action values from partial human demonstration and optimizes the agent to improve the proxy values meanwhile reduce the human interventions. The experiments show that HACO achieves a substantially high sample efficiency in the safe driving benchmark. HACO can train agents to drive in unseen traffic scenarios with a handful of human intervention budget and achieve high safety and generalizability, outperforming both reinforcement learning and imitation learning baselines with a large margin. Code and demo videos are available at: https://decisionforce.github.io/HACO/.

研究动机与目标

• 解决在训练安全自动驾驶智能体时人类干预预算有限的挑战。
• 提升强化学习在自动驾驶中的样本效率和训练安全性。
• 减少对密集奖励设计的依赖，并避免模仿学习中的分布偏移问题。
• 实现自适应自动化，使智能体在最小化人类接管的同时最大化安全探索。
• 开发一种可扩展的人在回路框架，使其能泛化至未见过的驾驶场景。

提出的方法

• HACO将人类干预用作部分示范的触发机制，专家在高风险情境下接管并示范安全动作。
• 基于人类与AI混合行为数据构建代理价值函数，实现在无环境奖励访问情况下的离线强化学习训练。
• 该方法优化智能体以最大化代理状态-动作值，同时最小化人类干预频率。
• 引入基于余弦相似度的惩罚项，使智能体动作与人类意图对齐，降低干预过程中的错位风险。
• 在未被干预时对智能体策略应用熵正则化，促进在安全动作边界内的探索。
• 采用约束优化框架，防止对人类专家的过度依赖，降低接管频率，保持人类资源利用效率。

实验结果

研究问题

• RQ1 人在回路学习能否在确保自动驾驶训练安全的前提下实现高样本效率？
• RQ2 如何在不牺牲策略性能或安全性的前提下最小化人类干预？
• RQ3 基于部分示范构建的代理价值函数能否在无环境奖励的情况下有效引导策略学习？
• RQ4 与标准强化学习和模仿学习方法相比，HACO在未见过的驾驶环境中的泛化能力如何？
• RQ5 干预时机和动作对齐程度在多大程度上影响最终策略性能？

主要发现

• 在MetaDrive中，HACO的测试回报达到349.25 ± 11.45，显著优于PPO（1591.00）和模仿学习基线方法，且仅使用8,000次训练样本。
• 在CARLA Town 2中，HACO以仅8,000次样本实现了83% ± 4%的测试成功率，而PPO需500,000次样本才能达到相近表现。
• HACO将测试安全违规次数降低至11.84，远低于PPO的80.84，展现出更优的安全性。
• 消融实验表明，若移除干预最小化机制，由于智能体对人类接管的过度依赖，成功率降为0%。
• 使用余弦相似度计算干预代价可减少错位，使测试回报从23.23提升至349.25。
• HACO仅用10分钟便利用新型CNN特征提取器在CARLA中训练出驾驶智能体，凸显其高效性。