[论文解读] Human Trajectory Prediction via Counterfactual Analysis

Guangyi Chen, Junlong Li+2 more|arXiv (Cornell University)|Jul 29, 2021

Autonomous Vehicle Technology and Safety参考文献 53被引用 6

一句话总结

本文提出了一种即插即用的反事实分析模块，用于人类轨迹预测，通过将历史轨迹的因果效应与虚假的环境交互分离，减轻了部署阶段的偏差。通过用反事实版本（例如匀速运动）替换过去的轨迹特征，并减去由此产生的预测结果，该方法减少了对训练环境偏差的过拟合，并在多个基准测试中实现了最先进性能。

ABSTRACT

Forecasting human trajectories in complex dynamic environments plays a critical role in autonomous vehicles and intelligent robots. Most existing methods learn to predict future trajectories by behavior clues from history trajectories and interaction clues from environments. However, the inherent bias between training and deployment environments is ignored. Hence, we propose a counterfactual analysis method for human trajectory prediction to investigate the causality between the predicted trajectories and input clues and alleviate the negative effects brought by environment bias. We first build a causal graph for trajectory forecasting with history trajectory, future trajectory, and the environment interactions. Then, we cut off the inference from environment to trajectory by constructing the counterfactual intervention on the trajectory itself. Finally, we compare the factual and counterfactual trajectory clues to alleviate the effects of environment bias and highlight the trajectory clues. Our counterfactual analysis is a plug-and-play module that can be applied to any baseline prediction methods including RNN- and CNN-based ones. We show that our method achieves consistent improvement for different baselines and obtains the state-of-the-art results on public pedestrian trajectory forecasting benchmarks.

研究动机与目标

• 解决由于训练与部署环境之间分布偏移导致的人类轨迹预测泛化差距。
• 探究过去轨迹与未来预测之间的因果关系，将真实的行为线索与虚假的环境相关性解耦。
• 开发一种即插即用模块，可在不改变网络结构的前提下增强任意现有轨迹预测模型。
• 通过减轻对有偏环境交互的过拟合，提升真实世界自主系统中轨迹预测的鲁棒性与可靠性。

提出的方法

• 构建一个包含过去轨迹（X）、环境交互（E）和未来轨迹（Y）节点的因果图，以建模因果依赖关系。
• 通过用合成反事实（例如零向量、均值向量或随机向量）替换过去轨迹特征，执行反事实干预，从而切断E→X的依赖关系。
• 将事实预测与反事实预测的差值计算为因果感知预测，从而隔离历史行为的真实因果效应。
• 作为插件模块应用于基于RNN（如STGAT）和基于CNN（如Social-STGCNN）的基线模型，无需重新训练。
• 使用匀速直线运动或均值轨迹作为反事实，以模拟合理的替代行为。
• 通过在推理阶段使用随机分布的期望值（零）来确保推理稳定性，避免部署阶段引入偏差。

实验结果

研究问题

• RQ1 反事实干预在不同环境下的轨迹预测泛化能力方面有何改善？
• RQ2 反事实分析在多大程度上可减少轨迹预测中对虚假环境相关性的过拟合？
• RQ3 即插即用的反事实模块是否能在不改变网络结构的前提下，持续提升多种基线模型（RNN与CNN架构）的性能？
• RQ4 不同反事实实现方式（零、均值、随机）在训练与部署设置变化下的鲁棒性如何？
• RQ5 该方法是否能提升复杂场景下预测的可靠性，其中环境偏差会误导传统模型？

主要发现

• 所提出的反事实方法在公开的人类轨迹预测基准上实现了最先进性能，优于现有方法。
• 所有反事实实现方式（零、均值、随机）均在多个基线上表现出一致的性能提升，证明了该方法的鲁棒性。
• ‘零’反事实实现方式的性能略优于其他方式，可能是因为其对虚假环境依赖关系的破坏更强。
• 该方法引入的参数开销可忽略不计，因为事实与反事实分支之间共享所有参数。
• 推理速度略有降低，由于增加了额外计算，但成本较轻，因为仅网络的一小部分用于反事实处理。
• 定性结果表明，因果感知预测能更好地捕捉真实行为模式（如群体移动），并避免由环境偏差引发的虚假预测（如人群强制汇聚）。