[論文レビュー] Exploiting map information for self-supervised learning in motion forecasting

Caio Azevedo, Thomas Gilles+2 more|arXiv (Cornell University)|Oct 10, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文は、マップグラフの接続性を活用して運動予測を向上させる自己教師あり学習の補助タスク、Map Trajectoriesを提案する。多様なマップ条件付き軌跡生成で事前学習することで、Argoverse、Interaction、NuScenesの全データセットでminFDE₆に最大20.3%、MissRate₆に33.3%の向上を達成し、Interactionチャレンジで最先端の結果を達成した。

ABSTRACT

Inspired by recent developments regarding the application of self-supervised learning (SSL), we devise an auxiliary task for trajectory prediction that takes advantage of map-only information such as graph connectivity with the intent of improving map comprehension and generalization. We apply this auxiliary task through two frameworks - multitasking and pretraining. In either framework we observe significant improvement of our baseline in metrics such as $\mathrm{minFDE}_6$ (as much as 20.3%) and $\mathrm{MissRate}_6$ (as much as 33.3%), as well as a richer comprehension of map features demonstrated by different training configurations. The results obtained were consistent in all three data sets used for experiments: Argoverse, Interaction and NuScenes. We also submit our new pretrained model's results to the Interaction challenge and achieve $ extit{1st}$ place with respect to $\mathrm{minFDE}_6$ and $\mathrm{minADE}_6$.

研究の動機と目的

• 自己教師あり学習を通じてマップの理解を強化することで、運動予測の一般化性能を向上させること。
• ランプの接続性などのマップオンリーデータが、軌跡予測の自己教師あり学習における有効な補助タスクとして機能するかを調査すること。
• マップベースの補助タスクを活用する際、事前学習フレームワークとマルチタスク学習フレームワークの有効性を評価すること。
• 多様なマップ形状で事前学習することで、未学習のマップタイプ（例：円形交差点）に対するモデルの頑健性を評価すること。

提案手法

• 与えられたマップ上の初期位置から、ランレットグラフの接続性を用いて多様な将来の軌跡を生成する自己教師あり補助タスク、Map Trajectoriesを設計する。
• 速度、加速度、過去/将来の軌跡長を変化させ、現実のばらつきを再現するための制御されたノイズを加えて軌跡を生成する。
• 補助タスクを2つのフレームワークで適用する：マルチタスク学習（主タスクと同時に最適化）と事前学習・微調整（マップデータで事前学習し、その後軌跡データで微調整）。
• マップとエージェントの相互作用をエンコードするためのベースモデルとして、グラフ注意機構とグラフ畳み込みネットワークを用い、全軌跡予測とその確率をデコードする。
• 組み合わせ損失関数を採用：軌跡予測にはsmooth L1損失、予測確率には交差エントロピー損失を適用し、主損失は両者の重み付き和とする。
• 事前学習は、真の軌跡が存在しない大規模なマップデータで実施され、モデルが構造的なマップ表現を学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ランプの接続性などのマップオンリーデータが、自己教師あり学習を通じて運動予測の一般化性能を向上させられるか。
• RQ2 マップベースの補助タスクで事前学習を実施すると、マルチタスク学習に比べて運動予測性能が向上するか。
• RQ3 事前学習データに含まれないマップタイプ（例：円形交差点）に対して、モデルの一般化性能はどのように現れるか。
• RQ4 各軌跡生成ステップ（例：可変速度、加速度、ノイズ）が、自己教師ありタスクの最終的性能に与える寄与度はどの程度か。

主な発見

• Map Trajectoriesの事前学習フレームワークは、ArgoverseデータセットでminFDE₆に20.3%の相対的低減、MissRate₆に33.3%の低減を達成した。
• Interactionデータセットでは、最低のminFDE₆とminADE₆スコアを記録し、チャレンジで1位を獲得し、強力な一般化性能を示した。
• 円形交差点が事前学習データに含まれていなかったにもかかわらず、円形交差点マップではminFDE₆に29.3%の相対的改善が達成され、マップトポロジーへの頑健な一般化が示された。
• アブレーションスタディの結果、各軌跡生成ステップ（特に固定加速度とノイズ）が、直接の事前学習性能と微調整後の指標の両方を向上させた。
• 事前学習の性能と微調整後の性能の間に強い相関が観察されたため、事前学習の質が下流タスクの成功を信頼できる指標として示す可能性がある。
• 事前学習フレームワークはマルチタスク学習を上回った。これは、この特定の補助タスクに対して、事前学習が共同最適化よりも効果的である可能性を示唆している。