[論文レビュー] Autobots: Latent Variable Sequential Set Transformers

Roger Girgis, Florian Golemo+6 more|arXiv (Cornell University)|Feb 19, 2021

Autonomous Vehicle Technology and Safety参考文献 34被引用数 5

ひとこと要約

この論文では、複数のエージェントの集合の系列に対して自己注意機構を用いて社会的・時間的関係を統合的に符号化することで、マルチエージェントの軌道をモデル化する新しい潜在変数を備えた順序付き集合変換器アーキテクチャであるAutoBotsを紹介する。本手法はNuScenesで最先端の性能を達成し、TrajNetでもベースラインを上回り、シーンに整合的で全体的に一貫性のある将来の軌道を生成する。

ABSTRACT

Robust multi-agent trajectory prediction is essential for the safe control of robots and vehicles that interact with humans. Many existing methods treat social and temporal information separately and therefore fall short of modelling the joint future trajectories of all agents in a socially consistent way. To address this, we propose a new class of Latent Variable Sequential Set Transformers which autoregressively model multi-agent trajectories. We refer to these architectures as AutoBots. AutoBots model the contents of sets (e.g. representing the properties of agents in a scene) over time and employ multi-head self-attention blocks over these sequences of sets to encode the sociotemporal relationships between the different actors of a scene. This produces either the trajectory of one ego-agent or a distribution over the future trajectories for all agents under consideration. Our approach works for general sequences of sets and we provide illustrative experiments modelling the sequential structure of the multiple strokes that make up symbols in the Omniglot data. For the single-agent prediction case, we validate our model on the NuScenes motion prediction task and achieve competitive results on the global leaderboard. In the multi-agent forecasting setting, we validate our model on TrajNet. We find that our method outperforms physical extrapolation and recurrent network baselines and generates scene-consistent trajectories.

研究の動機と目的

• マルチエージェント軌道予測において、社会的要因と時間的要因を別々に扱う既存手法の制限を解消すること。
• すべてのエージェントの将来の軌道を社会的に整合的になるように統合的にモデル化するフレームワークの構築。
• 時間経過に伴うエージェント状態を表す集合の系列に対する自己回帰的モデリングの実現。
• 単一エージェントおよびマルチエージェントの運動予測ベンチマークにおける手法の検証。

提案手法

• AutoBotsは、エージェント間の社会的・時間的依存関係を符号化するために、集合の系列に対してマルチヘッド自己注意ブロックを用いる。
• 潜在変数を用いることで、将来の軌道における不確実性を表現し、分布予測を可能にする。
• 時間の経過に伴い変化するエージェント集合（例：位置、速度）を系列として処理し、時間的変化を捉える。
• すべてのエージェントの将来の軌道を同時に自己回帰的に生成するアーキテクチャをサポートする。
• 軌道予測に限らず、任意の集合の系列に一般化可能であるように設計されている。
• モデルは、単一のエゴエージェントの軌道を予測するか、すべてのエージェントの軌道の分布を予測するように学習される。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構を用いた変換器アーキテクチャは、マルチエージェント軌道予測において社会的要因と時間的要因を統合的にモデル化できるか？
• RQ2 物理的外挿法や再帰型ネットワークベースラインと比較して、提案手法はどの程度シーンに整合的な軌道を生成できるか？
• RQ3 集合の系列に対する自己回帰的モデリングは、実世界の運動予測ベンチマークにおける予測精度をどの程度向上させるか？
• RQ4 本モデルは、Omniglotにおける連続的な記号のスティルのモデリングといった、軌道予測以外のタスクにも一般化可能か？

主な発見

• NuScenesの運動予測ベンチマークにおいて、AutoBotsは単一エージェント軌道予測のグローバルリーダーボードで競争力のある結果を達成した。
• TrajNetベンチマークにおいて、AutoBotsは物理的外挿法や再帰型ネットワークベースラインを上回り、マルチエージェント軌道予測で優れた性能を示した。
• モデルはエージェント間の社会的相互作用を尊重する、全体的に一貫性のある軌道を生成した。
• Omniglotにおける例示的実験により、モデルが複数のスティルで構成される記号の順序構造を効果的に捉えられることを示した。
• 潜在変数の使用により、モデルは将来の軌道の分布を予測でき、不確実性を効果的に捉えることができた。
• 動的集合の時間的変化を効果的にモデル化できており、多様な順序付き集合タスクへの強い一般化性能を示した。