[論文レビュー] Joint 3D Tracking and Forecasting with Graph Neural Network and Diversity Sampling

Xinshuo Weng, Ye Yuan+1 more|arXiv (Cornell University)|Mar 17, 2020

Video Surveillance and Tracking Methods参考文献 62被引用数 28

ひとこと要約

本論文は、エージェント間の相互作用をモデル化するためのグラフニューラルネットワーク（GNN）と、多様で重複のない予測を生成する多様性サンプリング関数を用いて、3次元マルチオブジェクトトラッキング（MOT）とトラジェクトリ予測を統合したフレームワークを提案する。本手法は、相互作用に配慮した共有表現を介してトラッキングと予測を同時に最適化することで、KITTIおよびnuScenesで最先端の性能を達成する。

ABSTRACT

3D multi-object tracking (MOT) and trajectory forecasting are two critical components in modern 3D perception systems that require accurate modeling of multi-agent interaction. We hypothesize that it is beneficial to unify both tasks under one framework in order to learn a shared feature representation of agent interaction. To evaluate this hypothesis, we propose a unified solution for 3D MOT and trajectory forecasting which also incorporates two additional novel computational units. First, we propose a feature interaction technique by introducing Graph Neural Networks (GNNs) to capture the way in which multiple agents interact with one another. The GNN is able to model complex hierarchical interactions, improve the discriminative feature learning for MOT association, and provide socially-aware context for trajectory forecasting. Second, we use a diversity sampling function to improve the quality and diversity of our forecasted trajectories. The learned sampling function is trained to efficiently extract a variety of outcomes from a generative trajectory distribution and helps avoid the problem of generating many duplicate trajectory samples. We evaluate on the KITTI and nuScenes datasets, showing that our unified method with feature interaction and diversity sampling achieves new state-of-the-art performance on both 3D MOT and trajectory forecasting. Our code will be made available at this https URL.

研究の動機と目的

• 3次元マルチオブジェクトトラッキング（MOT）とトラジェクトリ予測を統合したフレームワークを構築し、共有され、相互作用に配慮した特徴抽出を可能にする。
• グラフニューラルネットワーク（GNN）を用いてエージェント間の複雑で階層的な相互作用をモデル化することで、トラッキング精度を向上させる。
• 生成されたトラジェクトリ分布から多様な結果を抽出することができる学習可能なサンプリング関数を学習することで、予測の多様性と品質を向上させる。
• 予測モデルにおいて一般的に見られる、重複または低多様性のトラジェクトリサンプルの問題を解消する。

提案手法

• 複数エージェント間の相互作用をモデル化するためにグラフニューラルネットワーク（GNN）を採用し、階層的関係を捉え、MOT連携に適した特徴の識別能を向上させる。
• GNNは文脈的で社会的配慮のある表現を符号化し、トラッキングと将来のトラジェクトリ予測の両方に情報を供給する。
• 多様性サンプリング関数を導入し、生成的トラジェクトリ分布上で学習することで、多様で高品質な予測サンプルを選択する。
• このサンプリング関数は微分可能であり、トラッキングおよび予測の目的関数とともにエンドツーエンドで最適化され、予測の多様性が向上する。
• 統合アーキテクチャにより、MOTと予測を同時に最適化し、両タスク間で特徴を共有することで全体的な性能を向上させる。
• 本モデルは、3次元MOTおよびトラジェクトリ予測の標準ベンチマークを用いて、KITTIおよびnuScenesデータセット上で訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 統合フレームワークにより、3次元マルチオブジェクトトラッキングとトラジェクトリ予測を同時に最適化することで、両タスクの性能向上が図れるか？
• RQ2 グラフニューラルネットワークは、複雑で階層的なエージェント相互作用をどれほど効果的にモデル化でき、トラッキングおよび予測の性能向上に寄与するか？
• RQ3 学習可能な多様性サンプリング関数は、トラジェクトリサンプルの重複を低減し、予測品質を向上させることができるか？
• RQ4 トラッキングと予測の間で特徴を共有することで、より良い一般化性能と性能が得られるか？

主な発見

• 提案された統合フレームワークは、3次元MOTおよびトラジェクトリ予測ベンチマークで、いずれのタスクにおいても最先端の性能を達成した。
• GNNの統合により、より豊かな相互作用に配慮した表現をモデル化することで、トラッキング精度が顕著に向上した。
• 多様性サンプリング関数は、重複するトラジェクトリサンプルの削減に成功し、予測の多様性が向上した。
• トラッキングと予測の共同最適化により、別々に訓練する手法と比較して性能が向上した。
• 本手法はKITTIおよびnuScenesの両データセットで優れた一般化性能を示し、共有表現学習の有効性を裏付けた。
• コードは公開され、再現性および今後の研究を支援する。