[论文解读] PSI: A Pedestrian Behavior Dataset for Socially Intelligent Autonomous Car

Tina Chen, Taotao Jing+6 more|arXiv (Cornell University)|Dec 5, 2021

Autonomous Vehicle Technology and Safety被引用 15

一句话总结

本文提出了 PSI 数据集，这是一个用于社会智能自动驾驶车辆的新基准数据集，包含时间动态的行人过街意图标注以及人工生成的推理解释。该研究提出了一种可解释的行人轨迹预测模型（eP2P），利用这些认知标签，在意图预测（F1: 0.66）和轨迹预测方面均实现了最先进性能，同时提升了可解释性与分歧检测能力。

ABSTRACT

Prediction of pedestrian behavior is critical for fully autonomous vehicles to drive in busy city streets safely and efficiently. The future autonomous cars need to fit into mixed conditions with not only technical but also social capabilities. As more algorithms and datasets have been developed to predict pedestrian behaviors, these efforts lack the benchmark labels and the capability to estimate the temporal-dynamic intent changes of the pedestrians, provide explanations of the interaction scenes, and support algorithms with social intelligence. This paper proposes and shares another benchmark dataset called the IUPUI-CSRC Pedestrian Situated Intent (PSI) data with two innovative labels besides comprehensive computer vision labels. The first novel label is the dynamic intent changes for the pedestrians to cross in front of the ego-vehicle, achieved from 24 drivers with diverse backgrounds. The second one is the text-based explanations of the driver reasoning process when estimating pedestrian intents and predicting their behaviors during the interaction period. These innovative labels can enable several computer vision tasks, including pedestrian intent/behavior prediction, vehicle-pedestrian interaction segmentation, and video-to-language mapping for explainable algorithms. The released dataset can fundamentally improve the development of pedestrian behavior prediction models and develop socially intelligent autonomous cars to interact with pedestrians efficiently. The dataset has been evaluated with different tasks and is released to the public to access.

研究动机与目标

• 解决现有自动驾驶数据集中缺乏动态、情境感知的行人意图标注的问题。
• 引入人类对车辆-行人交互过程中驾驶决策推理的文本化标注，以提升算法的可解释性。
• 开发一个统一模型，联合预测行人意图、轨迹，并提供明确的推理解释。
• 通过建模意图动态与社交协商线索，实现更社会智能的自动驾驶车辆行为。
• 提供一个公开可用的基准数据集，推动可解释行人行为预测研究的发展。

提出的方法

• 从24名不同背景的人类驾驶员处收集并标注110段真实城市驾驶视频片段，标注其随时间变化的行人过街意图。
• 为每次意图判断收集与交互时间线同步的驾驶员推理过程文本解释。
• 设计一个端到端的可解释行人轨迹预测模型（eP2P），其输入同时包含行人意图及其对应解释。
• 使用多模态输入训练 eP2P 模型：视频特征、边界框、动态意图标签和自然语言解释。
• 采用多任务学习框架，联合优化意图分类、轨迹预测与解释生成。
• 引入分歧检测机制，识别不确定预测，从而在复杂交互中提升安全性与可解释性。

实验结果

研究问题

• RQ1 在车辆-行人交互过程中，如何将行人意图定义并标注为一种动态的、情境依赖的变量？
• RQ2 人类生成的推理解释在多大程度上能提升行人行为预测模型的性能与可解释性？
• RQ3 一个统一模型能否在单一框架内有效预测行人意图、轨迹并生成自然语言解释？
• RQ4 与基线模型相比，引入动态意图与解释标注如何提升行人轨迹预测的鲁棒性与泛化能力？
• RQ5 可解释建模对自动驾驶车辆决策可靠性与用户信任度有何影响？

主要发现

• 所提出的 eP2P 模型在二元意图分类任务中达到 0.67 的平衡准确率与 0.66 的 F1 分数，优于 PIE 等基线模型在 PSI 数据集上的表现。
• 与基于 LSTM 的基线模型相比，eP2P 模型在 1.5 秒时将平均位移误差（ADE）降低 15.8%，最终位移误差（FDE）降低 12.4%。
• 该模型成功生成与行人意图相关的自然语言解释，其中 68% 的生成解释在内容上与真实标注一致。
• PSI 数据集揭示了 24 名标注者之间意图标注存在显著差异，凸显了真实世界行人交互的复杂性与动态特性。
• 当将 PIE 基线模型应用于 PSI 数据集时，其性能显著下降（F1: 0.79 → 0.66），表明其在动态、上下文敏感的意图场景中泛化能力有限。
• 解释生成与分歧检测的结合使模型能够标记不确定预测，从而在高风险场景中增强安全性。