[论文解读] Generic Probabilistic Interactive Situation Recognition and Prediction: From Virtual to Real

Jiachen Li, Hengbo Ma+2 more|arXiv (Cornell University)|Sep 9, 2018

Autonomous Vehicle Technology and Safety参考文献 20被引用 4

一句话总结

该论文提出了一种通用的、基于概率的分层框架，用于自动驾驶中的交互式场景识别与轨迹预测。该方法采用两层隐马尔可夫模型（TLHMM）建模联合智能体行为，并利用高斯混合模型（GMM）描述场景演化。该方法实现了从仿真数据到真实世界数据的稳健迁移学习，减少了对数据和计算资源的需求，同时在高速公路匝道汇入等复杂场景中实现了准确、长期的联合轨迹预测。

ABSTRACT

Accurate and robust recognition and prediction of traffic situation plays an important role in autonomous driving, which is a prerequisite for risk assessment and effective decision making. Although there exist a lot of works dealing with modeling driver behavior of a single object, it remains a challenge to make predictions for multiple highly interactive agents that react to each other simultaneously. In this work, we propose a generic probabilistic hierarchical recognition and prediction framework which employs a two-layer Hidden Markov Model (TLHMM) to obtain the distribution of potential situations and a learning-based dynamic scene evolution model to sample a group of future trajectories. Instead of predicting motions of a single entity, we propose to get the joint distribution by modeling multiple interactive agents as a whole system. Moreover, due to the decoupling property of the layered structure, our model is suitable for knowledge transfer from simulation to real world applications as well as among different traffic scenarios, which can reduce the computational efforts of training and the demand for a large data amount. A case study of highway ramp merging scenario is demonstrated to verify the effectiveness and accuracy of the proposed framework.

研究动机与目标

• 解决在多个智能体相互反应的高互动交通场景中预测联合行为的挑战。
• 通过将交互建模为系统级动态过程，克服单智能体预测模型的局限性。
• 实现从仿真到真实世界应用的知识迁移，减少对大规模真实世界数据集的依赖。
• 开发一种鲁棒且具备不确定性感知能力的框架，以捕捉动态交通环境中复杂的人类交互模式。

提出的方法

• 采用两层隐马尔可夫模型（TLHMM）对高层场景状态及其演化进行建模，第一层捕捉交互模式，第二层建模场景动态。
• 利用分层HMM架构将高层场景识别与低层运动预测解耦，实现场景与领域间的迁移学习。
• 使用期望最大化（EM）算法在驾驶模拟器生成的合成数据上训练TLHMM，随后在真实世界的NGSIM数据上进行微调。
• 采用高斯混合模型（GMM）基于识别出的场景状态生成多样化、概率化的未来轨迹，以捕捉联合智能体运动中的不确定性。
• 引入从原始观测中提取的元特征，以提高对传感器噪声的鲁棒性，并降低对原始特征波动的敏感性。
• 在特征序列中集成领先车辆的状态（位置与速度），以增强在密集交通条件下的真实世界适应能力。

实验结果

研究问题

• RQ1 分层HMM框架能否在复杂场景中有效识别并预测多个交通智能体之间的联合交互情景？
• RQ2 所提出的TLHMM模型在从仿真数据到真实世界驾驶数据的泛化能力方面，其识别准确率和计算效率如何？
• RQ3 迁移学习在多大程度上减少了对大规模真实世界训练数据的需求，同时保持预测性能？
• RQ4 与标准HMM和QDA基线相比，该模型在观测噪声和特征波动下的鲁棒性如何？
• RQ5 该框架能否生成与真实世界场景中真实轨迹对齐的准确、长期联合轨迹分布？

主要发现

• 基于TLHMM的模型在更早阶段识别出真实交互结果，且波动更小，相比标准HMM和QDA展现出更优的抗噪声与特征可变性能力。
• 模型实现了准确的长期轨迹预测，如占用热力图所示，真实轨迹位于预测GMM分布的均值附近。
• 在真实世界的NGSIM数据上对预训练的第二层HMM进行微调，平均仅需35次EM迭代，而从零开始训练则需112次迭代，显著降低了计算成本。
• 经微调的迁移模型性能与从零开始训练的模型相当，验证了从仿真到真实世界应用的知识迁移的有效性。
• 分层结构实现了场景识别与运动预测的有效解耦，提升了模型的可解释性与在不同交通场景下的适应能力。