[论文解读] Intention Recognition of Pedestrians and Cyclists by 2D Pose Estimation

Zhijie Fang, Antonio M. López|arXiv (Cornell University)|Oct 9, 2019

Autonomous Vehicle Technology and Safety参考文献 33被引用 8

一句话总结

本文提出了一种基于单目2D姿态估计的方法，用于识别行人在过街前的意图以及骑行人所做出的肢体信号——具体而言，是判断行人是否意图过街，以及骑行人使用的是哪一侧的手势信号。该方法利用深度学习从单张图像中提取骨骼特征，实现了在行人过街预测（JAAD数据集）和新创建的骑行车手手势识别数据集（CASR）上的最先进性能，且仅需极少的时间上下文信息。

ABSTRACT

Anticipating the intentions of vulnerable road users (VRUs) such as pedestrians and cyclists is critical for performing safe and comfortable driving maneuvers. This is the case for human driving and, thus, should be taken into account by systems providing any level of driving assistance, from advanced driver assistant systems (ADAS) to fully autonomous vehicles (AVs). In this paper, we show how the latest advances on monocular vision-based human pose estimation, i.e. those relying on deep Convolutional Neural Networks (CNNs), enable to recognize the intentions of such VRUs. In the case of cyclists, we assume that they follow traffic rules to indicate future maneuvers with arm signals. In the case of pedestrians, no indications can be assumed. Instead, we hypothesize that the walking pattern of a pedestrian allows to determine if he/she has the intention of crossing the road in the path of the ego-vehicle, so that the ego-vehicle must maneuver accordingly (e.g. slowing down or stopping). In this paper, we show how the same methodology can be used for recognizing pedestrians and cyclists' intentions. For pedestrians, we perform experiments on the JAAD dataset. For cyclists, we did not found an analogous dataset, thus, we created our own one by acquiring and annotating videos which we share with the research community. Overall, the proposed pipeline provides new state-of-the-art results on the intention recognition of VRUs.

研究动机与目标

• 通过在行人和骑行人采取行动前预测其意图，提升自动驾驶与辅助驾驶的安全性与舒适性。
• 解决骑行人手势信号标注数据集匮乏的问题，因为这些信号在交通规则下对意图识别至关重要。
• 证明仅从单目图像中提取的2D人体姿态估计，即可提供足够信息以实现可靠的意图识别，而无需依赖立体视觉、光流或自身运动补偿。
• 创建并公开发布一个新的公共数据集CASR，其中包含219个标注的骑行人手势信号动作，供研究使用。

提出的方法

• 该方法使用单目RGB图像，通过深度卷积神经网络（CNN）估计2D人体关键点骨骼，作为意图识别的基础。
• 采用1至14帧的时间滑动窗口以捕捉运动动态，从关键点位置及随时间变化的相对角度/距离中提取特征。
• 从骨骼结构中计算几何特征，如关节夹角（例如 Θ(4,6,7)）和关节间距离（例如 L(8,7)），以表征姿态配置。
• 使用随机森林（RF）分类器对这些几何特征进行训练，以预测行人是否过街或未过街，或识别骑行人的手势信号。
• 该方法在JAAD数据集上评估行人意图识别，在新采集的CASR数据集上评估骑行人手势信号识别。
• 通过向关键点估计中注入20%和30%的噪声，分析方法的抗噪鲁棒性，以评估其在真实场景中的可靠性。

实验结果

研究问题

• RQ1 仅从单目图像中提取的2D姿态估计，能否可靠预测行人是否在实际动作开始前意图过街？
• RQ2 尽管标注数据有限，该基于姿态的处理流程是否能以高准确率识别骑行人的手势信号（如左转、右转、停车）？
• RQ3 从2D骨骼结构中提取的几何特征如何促进意图识别？哪些特征最具判别力？
• RQ4 通过滑动窗口引入的时间上下文，在行人与骑行人意图识别中能多大程度上提升性能？
• RQ5 在真实场景中，当关键点预测存在噪声时，该方法的鲁棒性如何？

主要发现

• 所提方法在JAAD数据集上实现了行人过街/不过街分类的最先进性能，优于以往基于CNN和基于姿态的方法。
• 在新创建的CASR数据集上，该方法在分类骑行人手势信号方面表现出高准确率，定性结果表明即使在复杂条件下也能正确识别。
• 对分类最具相关性的特征是涉及手臂和上半身的关节夹角（如 Θ(4,6,7)）以及手臂与上半身关键点之间的距离（如 L(8,7)），表明手臂姿势在意图推断中至关重要。
• 对于骑行人意图识别，当前帧（T=1）和后续帧（T=14）的特征均具有重要意义，且在信号指示约200–300ms后识别结果趋于稳定。
• 在关键点估计中注入20%–30%的噪声后，方法性能未出现显著下降，表明其在真实世界部署中具备实际可行性。
• 在T=1时，对分类最重要的前25个特征仅占总特征空间的约2%；在T=14时，占比约为0.15%，表明仅需一个小型、可解释的几何特征集合，即可实现高精度预测。