[论文解读] Human-like Decision Making for Autonomous Driving via Adversarial Inverse Reinforcement Learning

Pin Wang, Dapeng Liu+3 more|arXiv (Cornell University)|Nov 19, 2019

Reinforcement Learning in Robotics参考文献 15被引用 12

一句话总结

本文提出了一种增强型对抗式逆强化学习（AIRL）框架，通过整合语义奖励项，提升自动驾驶场景中的策略学习与奖励恢复性能。该方法在复杂、交互性强的驾驶场景中增强了稳定性与性能，实现了类人的决策能力，在仿真环境中优于模仿学习与强化学习基线方法。

ABSTRACT

To make human-like decisions under complex driving environment is a challenging task for autonomous agents. Imitation Learning or learning-from-demonstration methods have seen great potential for achieving such a goal. Some state-of-the-art studies apply Generative Adversarial Imitation Learning (GAIL) to learn sequential decision-making and control policies. While GAIL can directly learn a policy, it lacks the ability to recover a reward function, which is considered robust and adaptable to environments changes. Adversarial Inverse Reinforcement Learning (AIRL) is another learning-from-demonstration method that can achieve similar benefits as GAIL but also learns the reward function with the policy simultaneously. In the original work of AIRL, it has been demonstrated in single-agent environments such as maze navigation and ant running tasks in OpenAI Gyms. In this paper, we augment AIRL by concatenating semantic reward terms in the learning framework to improve and stabilize its performance, and then extend it to a more practical but challenging situation, i.e. decision-making scenario in highly interactive driving environment. Four performance evaluation metrics are proposed and compared with some Imitation Learning based methods and Reinforcement Learning based methods. Simulation results show that the augmented AIRL outperforms all the other methods, and the trained vehicle agent can perform decision-making behaviors comparable with that of the experts.

研究动机与目标

• 使自动驾驶车辆能够在高度交互的驾驶环境中做出类人的决策。
• 解决现有模仿学习方法在恢复可解释且可适应的奖励函数方面的局限性。
• 通过整合语义奖励项，提升对抗式逆强化学习（AIRL）的稳定性与性能。
• 将AIRL从简单环境扩展至包含多智能体与动态交互的现实复杂驾驶场景。
• 在仿真框架中，通过综合指标评估所提方法与最先进IRL与RL基线方法的性能。

提出的方法

• 在训练过程中，通过拼接语义奖励项（如车道保持、速度一致性、碰撞避免）到奖励函数中，对原始AIRL框架进行增强。
• 将这些语义项作为奖励函数中的辅助组件集成，以引导策略学习并稳定训练动态。
• 采用生成对抗框架，其中判别器用于区分专家演示与专家生成的轨迹，而智能体则学习模仿专家行为。
• 通过对抗训练，同时优化策略与奖励函数，实现两者的端到端学习。
• 在高保真仿真环境中训练智能体，该环境模拟了包含多辆车辆与动态障碍物的复杂交互式交通场景。
• 采用多目标评估框架，使用四项性能指标，将所提方法与基线IRL与RL方法进行比较。

实验结果

研究问题

• RQ1 语义奖励项的整合是否能提升AIRL在复杂自动驾驶场景中的稳定性和性能？
• RQ2 增强型AIRL方法在决策质量与安全性方面，相较于现有模仿学习与强化学习基线方法表现如何？
• RQ3 所学习的策略在交互性强、车流量大的环境中，能在多大程度上复现专家人类驾驶行为？
• RQ4 在环境变化与动态交通条件下，恢复的奖励函数是否仍保持鲁棒性与可解释性？
• RQ5 语义奖励组件对策略网络的收敛性与泛化能力有何影响？

主要发现

• 增强型AIRL方法在仿真环境中优于所有对比的模仿学习与强化学习基线方法。
• 训练后的车辆智能体在复杂交互式交通场景中展现出与专家人类驾驶员相当的决策行为。
• 语义奖励项的整合显著提升了AIRL框架的训练稳定性和收敛速度。
• 该方法成功恢复了一个结构化且可解释的奖励函数，与人类驾驶偏好及安全准则保持一致。
• 四项提出的评估指标在多个驾驶场景中一致将增强型AIRL列为表现最佳的方法。
• 恢复的奖励函数能很好地泛化到未见过的交通条件，表明其对环境变化具有鲁棒性。