[论文解读] Driving Behavior Modeling using Naturalistic Human Driving Data with Inverse Reinforcement Learning

Zhiyu Huang, Jingda Wu+1 more|arXiv (Cornell University)|Oct 7, 2020

Autonomous Vehicle Technology and Safety参考文献 40被引用 8

一句话总结

本文提出了一种基于逆强化学习（IRL）的个性化驾驶行为建模方法，引入了离散潜在驾驶意图的结构假设，使在自然高速公路数据上实现可处理的最大熵IRL成为可能。通过多项式采样器生成候选轨迹，并结合交互感知的环境建模，该方法学习到可解释的、驾驶员特定的奖励函数，在NGSIM数据集上显著优于通用模型，在人类相似性和鲁棒性方面表现更优。

ABSTRACT

Driving behavior modeling is of great importance for designing safe, smart, and personalized autonomous driving systems. In this paper, an internal reward function-based driving model that emulates the human's decision-making mechanism is utilized. To infer the reward function parameters from naturalistic human driving data, we propose a structural assumption about human driving behavior that focuses on discrete latent driving intentions. It converts the continuous behavior modeling problem to a discrete setting and thus makes maximum entropy inverse reinforcement learning (IRL) tractable to learn reward functions. Specifically, a polynomial trajectory sampler is adopted to generate candidate trajectories considering high-level intentions and approximate the partition function in the maximum entropy IRL framework. An environment model considering interactive behaviors among the ego and surrounding vehicles is built to better estimate the generated trajectories. The proposed method is applied to learn personalized reward functions for individual human drivers from the NGSIM highway driving dataset. The qualitative results demonstrate that the learned reward functions are able to explicitly express the preferences of different drivers and interpret their decisions. The quantitative results reveal that the learned reward functions are robust, which is manifested by only a marginal decline in proximity to the human driving trajectories when applying the reward function in the testing conditions. For the testing performance, the personalized modeling method outperforms the general modeling approach, significantly reducing the modeling errors in human likeness (a custom metric to gauge accuracy), and these two methods deliver better results compared to other baseline methods.

研究动机与目标

• 为了以捕捉个体偏好和决策机制的方式建模人类驾驶行为，从而实现更安全、更个性化的自动驾驶车辆。
• 为解决在连续、高维驾驶状态下的最大熵IRL不可行性问题，通过引入离散潜在驾驶意图的结构假设。
• 通过将交互影响（如对周围车辆造成的速度损失）纳入奖励函数估计，提升轨迹预测的准确性。
• 从真实世界自然驾驶数据（特别是NGSIM高速公路数据集）中实现可解释且鲁棒的奖励函数学习。
• 证明个性化奖励函数在轨迹规划中的性能优于通用或基线模型。

提出的方法

• 引入一种结构假设：人类驾驶员基于离散的高层意图（如变道、保持车道）生成候选轨迹，从而将连续控制问题转化为离散、可处理的IRL设置。
• 使用多项式轨迹采样器生成反映不同战术决策和期望速度的多样化候选轨迹，作为奖励评估的基础。
• 通过生成的轨迹近似最大熵IRL中的分区函数，实现特征期望的高效计算。
• 环境模型用于预测周围车辆的响应，包括因自车行为导致的速度降低，以更真实地评估轨迹结果。
• 通过最大熵IRL学习奖励函数，使生成轨迹的期望特征计数与真实人类驾驶数据中的特征计数相匹配。
• 将交互感知的动力学整合到奖励函数中，确保自车行为对其他车辆的影响反映在学习到的偏好中。

实验结果

研究问题

• RQ1 通过引入离散潜在意图的结构假设，能否有效将最大熵IRL框架应用于连续、高维的驾驶行为建模？
• RQ2 在轨迹预测中引入交互感知的预报（特别是对周围车辆造成的速度损失）在多大程度上提升了学习到的奖励函数的准确性？
• RQ3 与通用建模方法相比，从个体驾驶员数据中学习个性化奖励函数在多大程度上提升了建模性能？
• RQ4 在未见过的条件下测试时，学习到的奖励函数有多鲁棒？与基线模型相比，在人类相似性方面表现如何？
• RQ5 预报模型的准确性对使用学习到的奖励函数进行个性化轨迹规划的性能有何影响？

主要发现

• 与通用建模方法相比，该个性化建模方法显著降低了人类相似性方面的建模误差，表现出更优的准确性，能够更真实地复现人类驾驶行为。
• 学习到的奖励函数具有鲁棒性，在测试过程中与人类轨迹的接近度仅出现微小下降，表明其具备强大的泛化能力。
• 引入交互感知（特别是对周围车辆造成的速度损失）对于准确估计奖励函数和提升建模性能至关重要。
• 若省略对周围车辆响应动作的模拟，虽然训练结果更优，但损害了泛化能力，凸显了拟合与鲁棒性之间的权衡。
• 使用学习到的奖励函数进行个性化规划的准确性高度依赖于预报模型的准确性，但即便如此，仍优于使用通用奖励函数的规划。
• 该方法在轨迹相似性和人类相似性指标上均优于IDM+MOBIL和恒定速度基线模型。