[論文レビュー] Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models

Nick Lamm, Shashank Jaiprakash+2 more|arXiv (Cornell University)|Jul 13, 2020

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

この論文は、実世界のベンチマークにおいて、教師ありモデルに比べて、半教師ありモデルを用いた転移学習が、車両の軌道予測性能を顕著に向上させることを示している。大規模なラベルなしデータ（ミリオンから10億枚の画像にスケーリング）を活用することで、対照的学習（SimCLR）が教師-生徒手法を上回り、低レベル（カメラ入力）およびミドルレベル（マップアノテーション付き）の表現において性能向上を示した。マルチモーダル指標では最大40.1%の向上を達成した。

ABSTRACT

In this work we show that semi-supervised models for vehicle trajectory prediction significantly improve performance over supervised models on state-of-the-art real-world benchmarks. Moving from supervised to semi-supervised models allows scaling-up by using unlabeled data, increasing the number of images in pre-training from Millions to a Billion. We perform ablation studies comparing transfer learning of semi-supervised and supervised models while keeping all other factors equal. Within semi-supervised models we compare contrastive learning with teacher-student methods as well as networks predicting a small number of trajectories with networks predicting probabilities over a large trajectory set. Our results using both low-level and mid-level representations of the driving environment demonstrate the applicability of semi-supervised methods for real-world vehicle trajectory prediction.

研究の動機と目的

• 同じ条件（アーキテクチャ、データ、計算リソース）のもとで、半教師あり事前学習が教師あり事前学習に比べて軌道予測性能に与える影響を評価すること。
• 異なる半教師あり学習手法（対照的学習対比して教師-生徒蒸留）が、ドライブシーン表現学習においてどの程度有効であるかを調査すること。
• 少数の軌道を予測する場合と、固定された多数の候補軌道を予測する場合とで、半教師ありモデルの性能向上がどのように異なるかを比較すること。
• 半教師あり表現が、低レベル（カメラ画像）およびミドルレベル（アノテーション付きマップ画像）のドライブ環境表現の両方に対して一般化できるかどうかを検証すること。

提案手法

• 固定されたアーキテクチャと計算リソースを用いて、半教師ありおよび教師ありモデル（例：SimCLR、ResNeXt-101 SSL、SWSL）を、車両の軌道予測タスクに微調整する。
• 10億枚のラベルなし画像データセットを用いて、対照的学習（SimCLR）によりモデルを事前学習し、自己教師付き特徴学習を可能にする。
• 教師-生徒フレームワーク（例：ResNeXt-101 32x4d SSL、SWSL）を用いて、大規模なラベルなしデータ上でノイズの多い生徒信号から学習する知識蒸留を適用する。
• ユニモーダルおよびマルチモーダルの軌道予測指標を用いて、2つのベンチマークデータセット（Drive360：低レベル、カメラベース；nuScenes：ミドルレベル、マップアノテーション付き）でモデルを評価する。
• トレーニングデータと入力解像度（例：1920x1080 → 160x90）をダウンサンプリングすることでトレーニング時間を短縮しつつ、完全なテストスプリットでの性能評価を維持する。
• 微調整の際、ネットワークの下位3/4のブロックを固定し、事前学習済み特徴を保持しつつ、最終層を下流の予測タスクに適応させる。

実験結果

リサーチクエスチョン

• RQ1 すべての要因（アーキテクチャ、データ、計算リソース）が同一である条件下で、半教師ありモデルを用いた転移学習が、教師ありモデルに比べて軌道予測性能を向上させるか？
• RQ2 対照的学習（SimCLR）と教師-生徒蒸留（SWSL、SSL）という異なる半教師あり学習手法が、車両の軌道予測タスクにおいて性能にどの程度差を生じるか？
• RQ3 半教師あり事前学習の利点は、少数の軌道を予測する場合と、固定された多数の候補軌道を予測する場合とで、状況によって異なるか？
• RQ4 半教師あり表現は、ドライブ環境の低レベル（カメラ入力）およびミドルレベル（マップアノテーション付き）表現の両方に対して、効果的に一般化可能か？

主な発見

• 半教師ありモデルは、低レベルおよびミドルレベルの両表現において、教師ありモデルを上回る性能を示した。特にSimCLRが、すべてのベンチマークで最良の全体的性能を達成した。
• 対照的学習（SimCLR）は、教師-生徒手法（ResNeXt-101 32x4d SSLおよびSWSL）を顕著に上回り、Drive360において、教師ありResNet-50に比べてステアリング角度MSEが0.99低下、スピードMSEが0.87低下した。
• CoverNetを用いたマルチモーダル軌道予測において、半教師ありモデルは教師ありベースラインに比べて最大40.1%の性能向上を示し、軌道の不確実性を効果的に扱えることを示した。
• MTPを用いた少数軌道セット予測では、半教師ありモデルがユニモーダル指標を最大17.3%向上させたが、マルチモーダル指標には顕著な向上が見られず、タスク依存の利点であることが示された。
• ResNeXt-101 32x4d SWSLモデルは、Drive360において教師ありResNet-101ベースラインを下回った。これは、すべての半教師あり手法がタスクに等しく一般化するわけではないことを示唆している。
• 半教師あり事前学習による性能向上は、追加の推論またはトレーニング計算リソースを要せず、既存の軌道予測パイプラインに即座に統合可能な改善手法である。