[论文解读] Pedestrian Action Anticipation using Contextual Feature Fusion in Stacked RNNs

Amir Rasouli, Iuliia Kotseruba+1 more|arXiv (Cornell University)|May 13, 2020

Autonomous Vehicle Technology and Safety被引用 65

一句话总结

引入五层堆叠GRU架构（SF-GRU），将多模态上下文特征融合用于行人穿越预测，在多种RNN基线中展现更高的准确性。

ABSTRACT

One of the major challenges for autonomous vehicles in urban environments is to understand and predict other road users' actions, in particular, pedestrians at the point of crossing. The common approach to solving this problem is to use the motion history of the agents to predict their future trajectories. However, pedestrians exhibit highly variable actions most of which cannot be understood without visual observation of the pedestrians themselves and their surroundings. To this end, we propose a solution for the problem of pedestrian action anticipation at the point of crossing. Our approach uses a novel stacked RNN architecture in which information collected from various sources, both scene dynamics and visual features, is gradually fused into the network at different levels of processing. We show, via extensive empirical evaluations, that the proposed algorithm achieves a higher prediction accuracy compared to alternative recurrent network architectures. We conduct experiments to investigate the impact of the length of observation, time to event and types of features on the performance of the proposed method. Finally, we demonstrate how different data fusion strategies impact prediction accuracy.

研究动机与目标

• 通过利用整体上下文线索，超越基于轨迹的方法，推动鲁棒的行人穿越预测。
• 开发一个多层特征融合架构，逐步整合外观、上下文、姿态、边界框和自车速度。
• 评估观测长度、时间到事件（TTE）及特征融合顺序对预测性能的影响。
• 在不同观测设置下比较SF-GRU与其他RNN架构。

提出的方法

• 提出一个五层堆叠GRU（SF-GRU），自下而上逐步融合来自多模态的特征。
• 底层处理行人外观特征；逐步融合周围上下文、姿态、边界框和自车速度。
• 使用256个隐藏单元的GRU，在每一级将跨模态输入连接，定义为 y^t = {vc^t_s, vp^t, vb^t, vs^t} 且 x^t_0 = vc^t_p。
• 使用Adam优化器，结合二元交叉熵损失训练60个时期；预计算上下文和姿态特征；通过水平翻转和类别再平衡进行数据增强。
• 评估时间到事件（TTE）和观测长度对预测性能的影响；检查特征融合顺序如何影响准确性。

实验结果

研究问题

• RQ1 多模态多层融合模型能否在轨迹方法之外提升行人穿越预测？
• RQ2 观测长度和时间到事件对穿越预测准确性有何影响？
• RQ3 不同的数据融合顺序和特征输入如何影响SF-GRU的性能？
• RQ4 哪种外观、上下文、姿态、边界框和自车速度特征的组合能够达到最佳准确性？

主要发现

• SF-GRU在评估的模型中达到最高准确度0.844和AUC 0.829。
• SF-GRU达到F1 0.721、精确度0.657、召回0.800，在大多数指标上超过Static、GRU、M-GRU和H-GRU基线。
• 使用全部信息源（C_p、C_s、P、B、S）相较部分特征集带来更优性能。
• 将外观与周围上下文解耦并采用小心的特征融合顺序可显著提高准确性（某些配置下准确度提升高达9%、召回提升10%、精确度提升15%）。
• 更长的观测主要在近端（0–1s）和远端（3s）区域有帮助，中间段由于场景动态噪声而效果参差。