[论文解读] A Real-time Vision Framework for Pedestrian Behavior Recognition and Intention Prediction at Intersections Using 3D Pose Estimation

Ue-Hwan Kim, Dongho Ka+2 more|arXiv (Cornell University)|Sep 23, 2020

Autonomous Vehicle Technology and Safety参考文献 41被引用 4

一句话总结

该论文提出了一种基于3D姿态估计的实时视觉框架，用于识别行人行为（100.53 FPS）和预测过街意图（35.76 FPS），在TUD数据集上无需训练即达到89.3%的准确率，在自建数据集上达到91.28%的准确率，通过无站点依赖的特征和强大的泛化能力，创下新的最先进性能记录。

ABSTRACT

Minimizing traffic accidents between vehicles and pedestrians is one of the primary research goals in intelligent transportation systems. To achieve the goal, pedestrian behavior recognition and prediction of pedestrian's crossing or not-crossing intention play a central role. Contemporary approaches do not guarantee satisfactory performance due to lack of generalization, the requirement of manual data labeling, and high computational complexity. To overcome these limitations, we propose a real-time vision framework for two tasks: pedestrian behavior recognition (100.53 FPS) and intention prediction (35.76 FPS). Our framework obtains satisfying generalization over multiple sites because of the proposed site-independent features. At the center of the feature extraction lies 3D pose estimation. The 3D pose analysis enables robust and accurate recognition of pedestrian behaviors and prediction of intentions over multiple sites. The proposed vision framework realizes 89.3% accuracy in the behavior recognition task on the TUD dataset without any training process and 91.28% accuracy in intention prediction on our dataset achieving new state-of-the-art performance. To contribute to the corresponding research community, we make our source codes public which are available at this https URL

研究动机与目标

• 为解决现有方法在行人意图预测与行为识别中的局限性，如泛化能力差、依赖人工标注以及计算成本高等问题。
• 开发一种实时系统，能够准确识别城市交叉路口的行人行为并预测过街意图。
• 通过设计从3D姿态估计中提取的可泛化视觉特征，实现无站点依赖的性能表现。
• 在无需大量训练数据或为新地点重新训练的情况下，实现在行为识别与意图预测任务中的高准确率。

提出的方法

• 以3D姿态估计为核心组件，从单目RGB视频流中提取鲁棒的、无站点依赖的视觉特征。
• 采用轻量化流水线，实现实时推理，行为识别达到100.53 FPS，意图预测达到35.76 FPS。
• 利用从3D姿态序列中学习到的无站点依赖特征表示，提升模型在多样化交叉路口环境中的泛化能力。
• 在3D姿态特征之上应用分类头，以预测行人行为（如行走、停止）和过街意图。
• 在自建数据集上训练意图预测模型，实现高准确率，且无需领域特定的微调。
• 公开源代码，以支持可复现性，并推动智能交通系统领域的发展。

实验结果

研究问题

• RQ1 基于视觉的框架是否能利用3D姿态估计实现在城市交叉路口行人行为识别与意图预测的实时性能？
• RQ2 无站点依赖特征在不重新训练的情况下，能在多大程度上提升在不同交叉路口环境中的泛化能力？
• RQ3 与先前方法相比，基于3D姿态特征的行人意图预测能达到怎样的准确率水平？
• RQ4 该框架在基准数据集上无需任何训练时的表现如何，这对其特征鲁棒性有何启示？
• RQ5 该框架能否在多样化的实际站点中保持高性能，且仅需极少适应？

主要发现

• 该框架在TUD数据集上无需任何训练即实现89.3%的行为识别准确率，证明了所学习的3D姿态特征具有强大的泛化能力。
• 在自建数据集中，该框架在意图预测任务中达到91.28%的准确率，创下新的最先进性能记录。
• 系统可实时运行，行为识别处理速度达100.53 FPS，意图预测达35.76 FPS，适用于动态交通环境的部署。
• 3D姿态估计的使用实现了鲁棒的特征提取，可在无需重新训练的情况下良好泛化至多个交叉路口站点。
• 所提出的无站点依赖特征显著减少了在新环境中重新采集数据和人工标注的需求。
• 源代码的公开支持了可复现性，并加速了基于视觉的行人行为理解领域的未来研究。