[论文解读] Pedestrian Behavior Prediction via Multitask Learning and Categorical Interaction Modeling.

Amir Rasouli, Mohsen Rohani+1 more|arXiv (Cornell University)|Dec 6, 2020

Autonomous Vehicle Technology and Safety参考文献 51被引用 8

一句话总结

本文提出了一种多任务学习框架，通过多模态数据联合预测行人轨迹与行为。通过结合模态特定编码、共享表征学习与类别交互建模，该模型在 PIE 和 JAAD 基准上实现了最先进性能，轨迹预测最高提升 22%，行为预测提升 6%。

ABSTRACT

Pedestrian behavior prediction is one of the major challenges for intelligent driving systems. Pedestrians often exhibit complex behaviors influenced by various contextual elements. To address this problem, we propose a multitask learning framework that simultaneously predicts trajectories and actions of pedestrians by relying on multimodal data. Our method benefits from 1) a hybrid mechanism to encode different input modalities independently allowing them to develop their own representations, and jointly to produce a representation for all modalities using shared parameters; 2) a novel interaction modeling technique that relies on categorical semantic parsing of the scenes to capture interactions between target pedestrians and their surroundings; and 3) a dual prediction mechanism that uses both independent and shared decoding of multimodal representations. Using public pedestrian behavior benchmark datasets for driving, PIE and JAAD, we highlight the benefits of multitask learning for behavior prediction and show that our model achieves state-of-the-art performance and improves trajectory and action prediction by up to 22% and 6% respectively. We further investigate the contributions of the proposed processing and interaction modeling techniques via extensive ablation studies.

研究动机与目标

• 解决智能驾驶系统中预测复杂行人行为的挑战。
• 通过利用多模态传感器数据，提升轨迹与行为预测的准确性。
• 通过类别语义解析建模行人与其环境之间的上下文交互。
• 设计一个统一框架，通过共享与独立解码联合优化轨迹与行为预测。
• 通过广泛的消融实验与基准评估，证明多任务学习与交互建模的有效性。

提出的方法

• 采用混合编码机制，独立处理不同输入模态（如视觉、LiDAR、运动）的数据，再通过共享参数进行特征融合。
• 引入类别语义解析技术，表示场景元素（如人行横道、车辆）并建模其与目标行人的交互。
• 设计双分支预测机制，从共享与模态特定表征中解码出轨迹与行为预测结果。
• 使用共享与独立解码头，平衡任务特定学习与跨任务泛化能力。
• 采用联合多任务损失函数，端到端训练模型，整合轨迹与行为预测目标。
• 利用公开基准（PIE 与 JAAD）进行训练与评估，确保可复现性与可比性。

实验结果

研究问题

• RQ1 与单任务基线相比，多任务学习是否能提升行人轨迹与行为的联合预测性能？
• RQ2 类别语义解析在建模行人-环境交互以支持行为预测方面有多有效？
• RQ3 跨任务共享表征在多大程度上提升了预测性能？
• RQ4 所提出的交互建模技术对整体预测准确率的贡献如何？
• RQ5 通过消融实验，框架中各组件（编码、交互建模、解码）对性能的影响如何？

主要发现

• 所提出的多任务学习框架在 PIE 与 JAAD 基准上实现了行人行为预测的最先进性能。
• 与基线模型相比，轨迹预测准确率最高提升 22%，显著提升了运动轨迹预测能力。
• 行为预测性能相比现有方法提升 6%，表明对行人意图识别能力得到改善。
• 消融实验确认，类别交互建模与双解码机制均对性能提升有显著贡献。
• 混合编码策略有效捕捉了模态特定特征，同时通过共享参数实现了跨模态知识迁移。
• 模型在多样化驾驶场景中均表现出一致的性能增益，凸显其鲁棒性与泛化能力。