[论文解读] Action-based Contrastive Learning for Trajectory Prediction

Marah Halawa, Olaf Hellwich+1 more|arXiv (Cornell University)|Jul 18, 2022

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本文提出了一种基于动作的对比学习框架，通过在训练过程中利用行人动作标签来引导轨迹嵌入空间的学习，从而提升轨迹预测性能。通过引入一种新颖的动作对比损失，并利用来自CVAE的合成轨迹以增强采样，该方法在三个第一人称轨迹预测基准上实现了最先进（SOTA）的性能，通过学习更具行为感知能力的表示，超越了现有方法。

ABSTRACT

Trajectory prediction is an essential task for successful human robot interaction, such as in autonomous driving. In this work, we address the problem of predicting future pedestrian trajectories in a first person view setting with a moving camera. To that end, we propose a novel action-based contrastive learning loss, that utilizes pedestrian action information to improve the learned trajectory embeddings. The fundamental idea behind this new loss is that trajectories of pedestrians performing the same action should be closer to each other in the feature space than the trajectories of pedestrians with significantly different actions. In other words, we argue that behavioral information about pedestrian action influences their future trajectory. Furthermore, we introduce a novel sampling strategy for trajectories that is able to effectively increase negative and positive contrastive samples. Additional synthetic trajectory samples are generated using a trained Conditional Variational Autoencoder (CVAE), which is at the core of several models developed for trajectory prediction. Results show that our proposed contrastive framework employs contextual information about pedestrian behavior, i.e. action, effectively, and it learns a better trajectory representation. Thus, integrating the proposed contrastive framework within a trajectory prediction model improves its results and outperforms state-of-the-art methods on three trajectory prediction benchmarks [31, 32, 26].

研究动机与目标

• 通过在学习过程中整合行人动作信息，提升第一人称视角设置下的轨迹预测性能。
• 解决轨迹数据中，特别是在对动作类别进行条件控制时，正负对比样本有限的挑战。
• 开发一种采样策略，通过利用CVAE学习到的潜在分布，避免基于启发式的负样本挖掘。
• 证明动作感知的轨迹表示能够带来更好的泛化能力和预测性能。
• 通过使用CVAE生成的合成数据，减少对动作标签的依赖，实现半监督训练。

提出的方法

• 提出一种基于动作的对比损失，鼓励执行相同动作的行人在特征空间中具有更接近的嵌入表示。
• 使用条件变分自编码器（CVAE）生成合成轨迹样本，用于增加正负对比对的数量。
• 将基于动作的对比损失作为正则化项整合到主轨迹预测损失中，并引入可学习的超参数β进行加权。
• 采用一种新颖的采样策略，将同一动作类别的轨迹视为正样本，不同动作类别的轨迹视为负样本。
• 利用CVAE学习到的潜在空间采样多样化且真实的轨迹，提升对比对的多样性和质量。
• 端到端地联合训练真实与合成轨迹，实现在无需为合成数据提供动作标签的情况下，有效进行对比学习。

实验结果

研究问题

• RQ1 在对比学习过程中整合行人动作信息是否能提升轨迹预测性能？
• RQ2 使用CVAE生成的合成轨迹是否能提升正负对比样本的质量与多样性？
• RQ3 所提出的基于动作的对比损失与标准对比损失（如SimCLR）相比，在轨迹预测任务中表现如何？
• RQ4 主预测损失与对比正则化损失之间的最优平衡是什么？该平衡由超参数β控制。
• RQ5 通过使用CVAE生成的合成数据，该框架能否减少训练过程中对动作标签的依赖？

主要发现

• 所提出的基于动作的对比学习框架（ABC+）在三个第一人称轨迹预测基准（PIE、JAAD和TITAN）上实现了最先进性能。
• 在TITAN数据集上，ABC+将C-FDE从843降低至165，将C-ADE(1.5)从434降低至302，展现出显著的性能提升。
• 消融实验表明，ABC+优于ABC（无合成样本），证实了基于CVAE的采样策略的有效性。
• 将超参数β设置为0.75时，在所有数据集上均取得最佳结果，表明该值实现了预测损失与对比损失之间的最优权衡。
• 基于动作的对比损失优于标准的SimCLR对比损失，证明动作感知监督能有效提升轨迹表示学习。
• 该框架支持半监督训练，因为CVAE生成的合成样本无需动作标签，从而降低了对标注动作数据的依赖。