[論文レビュー] THOMAS: Trajectory Heatmap Output with learned Multi-Agent Sampling

Thomas Gilles, Stefano Sabatini+3 more|arXiv (Cornell University)|Oct 13, 2021

Autonomous Vehicle Technology and Safety参考文献 64被引用数 59

ひとこと要約

THOMAS は、階層的ヒートマップデコーディングと学習済みの再結合モジュールを用いて、すべてのエージェントに対してシーン整合性を持つマルチモーダル軌道を生成する共同マルチエージェント軌道予測フレームワークであり、Interaction Interpret トラックで最先端の結果を達成します。

ABSTRACT

In this paper, we propose THOMAS, a joint multi-agent trajectory prediction framework allowing for an efficient and consistent prediction of multi-agent multi-modal trajectories. We present a unified model architecture for simultaneous agent future heatmap estimation, in which we leverage hierarchical and sparse image generation for fast and memory-efficient inference. We propose a learnable trajectory recombination model that takes as input a set of predicted trajectories for each agent and outputs its consistent reordered recombination. This recombination module is able to realign the initially independent modalities so that they do no collide and are coherent with each other. We report our results on the Interaction multi-agent prediction challenge and rank $1^{st}$ on the online test leaderboard.

研究の動機と目的

• エージェント間の整合性を保ったマルチモーダル設定で将来のマルチエージェント軌道を予測する。
• 過去の軌道とHD-Mapコンテキストをエンコードして、各エージェントの将来のヒートマップを生成する。
• 各エージェントにつき複数のエンドポイントを生成し、全軌道を再構築する。
• サンプリングしたエンドポイントを再結合して、衝突のないシーン整合性のある予測を保証する。

提案手法

• エージェント履歴とレーンレットベースのHD-Mapコンテキストを共有グラフエンコーダで処理し、クロス注意と自己注意を用いて各エージェントのエンコードを生成する。
• 階層的なグリッド refinement スキームを通じて、低解像度のグリッドから最終解像度へ拡張し、高確率領域を選択的に refinement して各エージェントの将来確率ヒートマップをデコードする。
• MissRate ベースのデコード戦略でヒートマップから各エージェントのK個のエンドポイントをサンプルし、多様なモダリティをカバーする。
• 履歴とエンドポイントを条件付けしたMLPを用いて、各エンドポイントに対する全軌道を生成する。
• シーン整合性再結合モジュールを導入し、クロスアテンションとWinner-Takes-All Lossを用いて既存エージェントモダリティを再利用・整列させ、協調的なシーンモダリティへ結合する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント軌道予測を、マルチモーダル性を損なうことなく、エージェント間で共同して整合させるにはどうすればよいか？
• RQ2 階層的ヒートマップデコーダは多くのエージェントにスケールし、推論を高速に維持できるか？
• RQ3 学習済みの再結合モジュールは、衝突を減らし、シーン整合性を向上させつつ周辺的な精度を犠牲にしないか？
• RQ4 THOMAS は解釈性ベンチマークにおいて、最先端の共同予測手法とどのように比較されるか？

主な発見

Method	mADE	mFDE	MR	mFDE	MR	SCR	cMR
ILVM (Casas et al., 2020)	0.30	0.62	10.8	0.84	19.8	5.7	21.3
SceneTransformer (Ngiam et al., 2021)	0.29	0.59	10.5	0.84	15.7	3.4	17.3
THOMAS	0.31	0.60	8.2	0.76	11.8	2.4	12.7

• THOMAS は Interaction Interpret トラックにおいて、ILVM および SceneTransformer と比較して共同指標で最先端を達成している。
• 共同の SMR はベースラインと比べて約25%向上し、SCR は約30%、cSMR も>25%低減している。
• 階層的ヒートマップデコーディングは、192 m のレンジで0.5 m 解像度でも、グリッド点のごく一部（例: 147,456 のうち 1856）を計算するだけで、性能低下なし。
• 再結合モジュールは、既存のエージェントモダリティを再利用・整列させることで衝突を減らし、シーンモダリティの整合性を高める。
• GOHOME と比較して、THOMAS は推論が速く（32-128 エージェント）、共同整合性指標も改善している。