[論文レビュー] Action-based Contrastive Learning for Trajectory Prediction

Marah Halawa, Olaf Hellwich+1 more|arXiv (Cornell University)|Jul 18, 2022

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本論文は、トレーニング中に歩行者の行動ラベルを活用することで軌跡埋め込み空間の学習をガイドする、行動ベースの対照的学習フレームワークを提案する。新規の行動ベースの対照的損失を導入し、CVAEから得られる合成軌跡を用いてサンプリングを強化することで、3つのファーストパーソン軌跡予測ベンチマークで最先端の性能を達成し、従来のアプローチを上回る行動に配慮した表現を学習する。

ABSTRACT

Trajectory prediction is an essential task for successful human robot interaction, such as in autonomous driving. In this work, we address the problem of predicting future pedestrian trajectories in a first person view setting with a moving camera. To that end, we propose a novel action-based contrastive learning loss, that utilizes pedestrian action information to improve the learned trajectory embeddings. The fundamental idea behind this new loss is that trajectories of pedestrians performing the same action should be closer to each other in the feature space than the trajectories of pedestrians with significantly different actions. In other words, we argue that behavioral information about pedestrian action influences their future trajectory. Furthermore, we introduce a novel sampling strategy for trajectories that is able to effectively increase negative and positive contrastive samples. Additional synthetic trajectory samples are generated using a trained Conditional Variational Autoencoder (CVAE), which is at the core of several models developed for trajectory prediction. Results show that our proposed contrastive framework employs contextual information about pedestrian behavior, i.e. action, effectively, and it learns a better trajectory representation. Thus, integrating the proposed contrastive framework within a trajectory prediction model improves its results and outperforms state-of-the-art methods on three trajectory prediction benchmarks [31, 32, 26].

研究の動機と目的

• ファーストパーソンビュー設定における軌跡予測を、学習プロセスに歩行者の行動情報を取り入れることで改善すること。
• 行動クラスに条件付けた際の、負例および正例の対照的サンプルが限られているという課題に対処すること。
• CVAEの学習済み潜在分布を活用することで、ヒューリスティックなネガティブマイニングに依存しないサンプリング戦略を開発すること。
• 行動に配慮した軌跡表現が、より良い一般化および予測性能をもたらすことを実証すること。
• CVAEからの合成データ生成により、合成データのための行動ラベルへの依存を軽減することで、半教師あり学習を可能にすること。

提案手法

• 同じ行動をとる歩行者の軌跡が特徴空間内でより近くなるように促す、行動ベースの対照的損失を提案する。
• 条件付き変分オートエンコーダ（CVAE）を用いて合成軌跡サンプルを生成し、正例および負例の対を増強する。
• 学習可能な重みハイパーパrameter β を用いて、主な軌跡予測損失に対する正則化として行動ベースの対照的損失を統合する。
• 同一行動クラスからの軌跡を正例、異なる行動クラスからの軌跡を負例として扱う、新しいサンプリング戦略を採用する。
• CVAEの学習済み潜在空間を活用して、多様で現実的な軌跡をサンプリングし、対照的ペアの多様性と品質を向上させる。
• 実際の軌跡と合成軌跡の両方を用いてエンドツーエンドでモデルを訓練し、合成データに行動ラベルが不要な状態で効果的な対照的学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習プロセスに歩行者の行動情報を組み込むことで、軌跡予測性能が向上するか？
• RQ2 CVAEで生成された合成軌跡を用いることで、正例および負例の対照的サンプルの質と多様性が向上するか？
• RQ3 提案された行動ベースの対照的損失は、SimCLRのような標準的な対照的損失と比較して、軌跡予測タスクで優れているか？
• RQ4 ハイパーパrameter β によって制御される、主な予測損失と対照的正則化損失の最適なバランスは何か？
• RQ5 CVAEからの合成データを用いることで、訓練中に行動ラベルへの依存を軽減できるか？

主な発見

• 提案された行動ベースの対照的学習フレームワーク（ABC+）は、3つのファーストパーソン軌跡予測ベンチマーク（PIE、JAAD、TITAN）で最先端の性能を達成した。
• TITANデータセットでは、C-FDEが843から165に、C-ADE(1.5)が434から302に低下し、顕著な性能向上を示した。
• アブレーションスタディの結果、ABC+（合成サンプルなし）を上回ることを確認し、CVAEベースのサンプリング戦略の有効性を裏付けた。
• ハイパーパrameter β を0.75に設定した場合、すべてのデータセットで最良の結果が得られ、予測損失と対照的損失の最適なトレードオフが実現された。
• 行動ベースの対照的損失は、標準的なSimCLR対照的損失を上回り、行動に配慮した教師信号が軌跡表現学習を改善することを証明した。
• フレームワークにより、合成データが行動ラベルを必要としないため、半教師あり学習が可能となり、アノテート済み行動データへの依存が軽減された。