[論文レビュー] TENET: Transformer Encoding Network for Effective Temporal Flow on Motion Prediction

Yuting Wang, Hangning Zhou+11 more|arXiv (Cornell University)|Jun 30, 2022

Autonomous Vehicle Technology and Safety被引用数 8

ひとこと要約

TENETは、時間的一致性を向上させるための時系列フローヘッダーと、マルチモーダルリティおよび予測信頼性を向上させるためのK-meansアンサンブル手法を備えたTransformerベースの運動予測モデルを提案する。Argoverse 2運動予測チャレンジにおいて、brier-minFDEスコア1.90を達成し、最先端の性能を示した。

ABSTRACT

This technical report presents an effective method for motion prediction in autonomous driving. We develop a Transformer-based method for input encoding and trajectory prediction. Besides, we propose the Temporal Flow Header to enhance the trajectory encoding. In the end, an efficient K-means ensemble method is used. Using our Transformer network and ensemble method, we win the first place of Argoverse 2 Motion Forecasting Challenge with the state-of-the-art brier-minFDE score of 1.90.

研究の動機と目的

• 予測の多様性と信頼性を向上させることで、自動運転におけるマルチモーダルトラジェクトリ予測の課題に対処する。
• 将来から過去へのフローモデルを用いて、予測の時間的一致性を向上させる。
• テスト時の性能を維持したまま、モデルの学習を高速化する効率的な学習戦略を開発する。
• 新しいK-meansベースのマルチトラジェクトリアンサンブル手法を通じて、予測のロバスト性と正確性を向上させる。
• 統一されたTransformerアーキテクチャを用いて、Argoverse 2運動予測ベンチマークで最先端の性能を達成する。

提案手法

• エージェント間の時間的・空間的相互作用をモデル化するため、時刻別およびエージェント別自己注意を備えたTransformerベースのエンコーダーを採用する。
• 学習可能なクエリトークンと統合されたエージェント・マップ特徴量との間でクロスアテンションを適用し、トラジェクトリ予測を生成する。
• 時間的一致性を強制するために、将来の予測から過去の軌道を再構築するように、逆方向に回帰する補助タスクとしての時系列フローヘッダーを導入する。
• LSTM経由の残差接続付き2層MLPを用いて、トラジェクトリ特徴量をデコードし、長時間予測における誤差蓄積を低減する。
• マップコンテキストに基づいて予測トラジェクトリの信頼性スコアを割り当てるために、クロスアテンションとソフトマックスを用いたスコアヘッダーを採用する。
• 異なるランダムシード、学習エポック、ハードマイニングレベルを持つモデルから得られる$M \times K$個のトラジェクトリに対して、K-meansアンサンブル手法を適用し、高信頼度の予測をクラスタリングおよび平均化する。

実験結果

リサーチクエスチョン

• RQ1 長時間予測における誤差蓄積を低減するために、運動予測モデルにおける時間的一致性はどのように向上させられるか？
• RQ2 マルチトラジェクトリアンサンブル戦略は、運動予測における予測の多様性と信頼性にどのような影響を与えるか？
• RQ3 学習および推論時に入力サイズを効率的に変更する戦略は、テスト精度を損なわず、学習速度を向上させることができるか？
• RQ4 トラジェクトリスコアリングにマップコンテキストを組み込むことで、予測の信頼性はどのように向上するか？
• RQ5 時系列フローヘッダーは、モデルが時間的に整合性のあるトラジェクトリを予測する能力をどのように向上させるか？

主な発見

• TENETは、Argoverse 2運動予測チャレンジでbrier-minFDEスコア1.90を記録し、他のすべての手法を上回る1位の順位を獲得した。
• K-meansアンサンブル手法により予測品質が顕著に向上し、大きな入力サイズとアンサンブルを併用した場合、brier-minFDEは2.03から1.90に低下した。
• 学習時に入力サイズを小さく、推論時に大きくすることで、学習速度が約30%向上したが、テスト性能に悪影響を及げなかった。
• 時系列フローヘッダーのおかげで時間的一致性が向上し、将来の予測から過去の軌道を再構築できる能力がモデルに備わっていることが実証された。
• アンサンブル手法によりマルチモーダルリティが向上し、終点間距離に基づくクラスタリングがより強固で多様な予測をもたらした。
• 最終的なアンサンブル結果は、知識蒸留の教師モデルとしての強力な可能性を示しており、単一モデルの性能をアンサンブルレベルの精度に近づけることが可能となった。