[论文解读] Reciprocal Learning Networks for Human Trajectory Prediction

Hao Sun, Zhiqun Zhao+1 more|arXiv (Cornell University)|Apr 9, 2020

Anomaly Detection Techniques and Applications参考文献 39被引用 5

一句话总结

该论文提出了一种用于行人轨迹预测的互逆学习网络（RLN），通过在互逆约束下联合训练前向和后向预测网络，确保预测未来轨迹与重建过去轨迹之间的一致性。该方法进一步引入对抗式风格的互逆攻击以优化预测结果，在基准数据集上显著提升了ADE和FDE指标，达到当前最优性能。

ABSTRACT

We observe that the human trajectory is not only forward predictable, but also backward predictable. Both forward and backward trajectories follow the same social norms and obey the same physical constraints with the only difference in their time directions. Based on this unique property, we develop a new approach, called reciprocal learning, for human trajectory prediction. Two networks, forward and backward prediction networks, are tightly coupled, satisfying the reciprocal constraint, which allows them to be jointly learned. Based on this constraint, we borrow the concept of adversarial attacks of deep neural networks, which iteratively modifies the input of the network to match the given or forced network output, and develop a new method for network prediction, called reciprocal attack for matched prediction. It further improves the prediction accuracy. Our experimental results on benchmark datasets demonstrate that our new method outperforms the state-of-the-art methods for human trajectory prediction.

研究动机与目标

• 解决在具有社交与物理约束的复杂环境中实现高精度短期行人轨迹预测的挑战。
• 利用前向与后向行人运动轨迹之间的对称性，通过互逆一致性提升学习效果。
• 提出一种新型训练范式，通过互逆约束联合优化前向与后向预测网络。
• 通过将对抗攻击原理融入轨迹优化过程，提升预测的鲁棒性与准确性。
• 在标准基准数据集上，证明所提方法在ADE与FDE指标上优于现有最先进方法。

提出的方法

• 该方法采用两个紧密耦合的深度神经网络：前向预测网络Fθ与后向预测网络Gϕ，在互逆约束下进行训练。
• 互逆约束要求：若Fθ(X) = Y，则Gϕ(Y) ≈ X，从而确保预测未来轨迹与从未来重建的过去轨迹之间的一致性。
• 引入互逆学习损失，通过最小化原始过去轨迹与后向重建轨迹之间的差异，联合优化两个网络。
• 互逆攻击机制通过迭代方式修改预测的未来轨迹，使其满足后向预测约束，借助对抗式扰动实现预测的精细化。
• 引入3D深度图特征以增强场景上下文理解，提升预测结果的物理合理性。
• 整个框架采用端到端训练，联合优化目标结合了互逆一致性损失与轨迹预测损失。

实验结果

研究问题

• RQ1 能否利用前向与后向行人轨迹之间的互逆一致性来提升预测准确性？
• RQ2 前向与后向预测网络的联合训练在轨迹预测中如何影响泛化能力与鲁棒性？
• RQ3 通过对抗式迭代优化（互逆攻击）是否能进一步提升预测质量，以强化一致性？
• RQ4 3D深度图特征与互逆学习在基准数据集上的性能提升中分别起到多大作用？
• RQ5 所提方法在ADE与FDE指标上是否显著优于现有最先进方法？

主要发现

• 所提出的互逆学习网络在ETH、HOTEL、UNIV、ZARA1与ZARA2基准数据集上均达到当前最优性能，ADE与FDE指标全面优于现有方法。
• 消融实验表明，互逆学习、深度图特征与互逆攻击三个组件均对整体性能提升有显著贡献。
• 互逆学习约束通过在训练过程中强制预测未来轨迹与重建过去轨迹保持一致，有效降低了预测误差。
• 互逆攻击机制通过迭代优化，使预测轨迹逐步满足后向预测约束，从而提升预测准确性。
• 3D深度图特征的引入增强了模型对环境约束（如人行道与障碍物）的感知能力，使预测结果更具物理合理性。
• 定性结果表明，该模型在复杂场景（如行人交互与避障）中具有良好的泛化能力，即使在失败案例中也能预测出合理的绕行路径。