[論文レビュー] SSL-Lanes: Self-Supervised Learning for Motion Forecasting in Autonomous Driving

Prarthana Bhattacharyya, Chengjie Huang+1 more|arXiv (Cornell University)|Jun 28, 2022

Traffic Prediction and Management Techniques被引用数 12

ひとこと要約

SSL-Lanesは、地図データとトラジェクトリーデータから得られる無料の擬似ラベルを用いて、自律走行における動き予測のための自己教師付き学習フレームワークを提案する。4つの新しい事前学習タスク（レーンマスキング、交差点までの距離予測、行動分類、成功/失敗分類）を採用し、モデルの構造的複雑さを低く抑えながらトランスフォーマーに基づくモデルよりも高速な推論を実現した。この手法は、追加の推論コストを伴わず、一般化性能と耐性を向上させ、Argoverseベンチマークで最先端の精度を達成した。

ABSTRACT

Self-supervised learning (SSL) is an emerging technique that has been successfully employed to train convolutional neural networks (CNNs) and graph neural networks (GNNs) for more transferable, generalizable, and robust representation learning. However its potential in motion forecasting for autonomous driving has rarely been explored. In this study, we report the first systematic exploration and assessment of incorporating self-supervision into motion forecasting. We first propose to investigate four novel self-supervised learning tasks for motion forecasting with theoretical rationale and quantitative and qualitative comparisons on the challenging large-scale Argoverse dataset. Secondly, we point out that our auxiliary SSL-based learning setup not only outperforms forecasting methods which use transformers, complicated fusion mechanisms and sophisticated online dense goal candidate optimization algorithms in terms of performance accuracy, but also has low inference time and architectural complexity. Lastly, we conduct several experiments to understand why SSL improves motion forecasting. Code is open-sourced at \url{https://github.com/AutoVision-cloud/SSL-Lanes}.

研究の動機と目的

• 自己教師付き学習（SSL）が、モデルの複雑さや推論時間の増加を伴わずに自律走行における動き予測性能を向上させられるかどうかを調査すること。
• 地図とエージェントのトラジェクトリーデータから容易に入手可能な情報を活用し、効果的な擬似ラベルを生成するドメイン特化型のSSL事前学習タスクを設計すること。
• 特に左・右折、加速、データの不均衡といった困難なシナリオにおいて、SSLが一般化性能を向上させるかどうかを評価すること。
• アブレーションおよび耐性評価を通じて、SSLが予測性能を向上させる背後にある理由を解明すること。

提案手法

• 4つの新しい自己教師付き事前学習タスク（レーンマスキング、交差点までの距離予測、行動分類、成功/失敗状態分類）を提案する。
• 地図構造とエージェントのダイナミクスから直接導出される擬似ラベルを用いて、追加のアノテーションなしに標準の動き予測モデルを学習する。
• 共通の地図およびエージェントエンコーダーを備えた標準のエンコーダデコーダアーキテクチャにSSLタスクを統合し、推論コストを低く保つ。
• マップエンコーダーをレーンマスキング事前学習タスクで訓練し、そのパラメータを主な予測モデルに転移する。
• SSL目的関数と主な予測損失を1:1の比率で組み合わせたマルチタスク学習設定を採用し、ハイパーパrameterチューニングを一切行わない。
• データのスパarsity、ノイズ耐性、都市間および行動タイプごとの一般化性能に関する広範なアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習が、モデルの構造的複雑さを低く抑え、高速な推論を維持しながらも動き予測の精度を向上させられるか？
• RQ2 右折や加速といった複雑な運転行動を捉えるために、どの具体的な自己教師付き事前学習タスクが最も効果的か？
• RQ3 データの不均衡、特に左折のようなレアな行動に対して、SSLが一般化性能を向上させるか？
• RQ4 現実の運転シナリオにおけるノイズの多い入力特徴に対して、SSLがどのように耐性を示すか？
• RQ5 なぜSSLが、動き予測において教師あり学習よりも優れた特徴表現を学習するのか？

主な発見

• SSL-Lanesは、トランスフォーマーに基づく手法よりもモデルの複雑さが低く、推論が速く、Argoverseベンチマークで最先端の性能を達成した。
• 右折行動を捉えるために、レーンマスキングタスクが最も効果的であった。一方、左折予測の向上には、交差点までの距離予測タスクが最も効果的であった。
• 行動分類および成功/失敗分類タスクは、加速や減速といった複雑な行動の予測精度を顕著に向上させた。
• SSLで訓練されたモデルは、データスパarsity下でも一般化性能が優れており、データの25%での学習でも高い性能を発揮した。
• SSLモデルは特徴ノイズに対して優れた耐性を示し、特徴の25%および50%が損傷した状況でも、教師ありベースラインを上回る性能を維持した。
• 実験により、SSLが、とりわけレアな行動や不均衡なデータ分布において、より豊かで一般化可能な特徴を学習することが確認された。