[論文レビュー] SimAug: Learning Robust Representations from Simulation for Trajectory Prediction

Junwei Liang, Lu Jiang+1 more|arXiv (Cornell University)|Apr 4, 2020

Video Surveillance and Tracking Methods参考文献 75被引用数 15

ひとこと要約

本論文では、未確認の実世界のカメラ視点にわたる頑健な一般化を達成するために、3Dシミュレーションデータのみを用いてトラジェクトリ予測モデルを訓練するデータ拡張手法SimAugを提案する。敵対的摂動と視点固有のハード例マイニングを特徴の凸結合によって統合することで、実世界のトレーニングデータを一切使用せずにStanford DroneおよびVIRAT/ActEVベンチマークで最先端の性能を達成し、新たなカメラアングルへのゼロショット一般化の強さを示している。

ABSTRACT

This paper studies the problem of predicting future trajectories of people in unseen cameras of novel scenarios and views. We approach this problem through the real-data-free setting in which the model is trained only on 3D simulation data and applied out-of-the-box to a wide variety of real cameras. We propose a novel approach to learn robust representation through augmenting the simulation training data such that the representation can better generalize to unseen real-world test data. The key idea is to mix the feature of the hardest camera view with the adversarial feature of the original view. We refer to our method as SimAug. We show that SimAug achieves promising results on three real-world benchmarks using zero real training data, and state-of-the-art performance in the Stanford Drone and the VIRAT/ActEV dataset when using in-domain training data.

研究の動機と目的

• 実世界の展開において、新しいカメラ視点やシーンにわたるトラジェクトリ予測モデルの一般化性能の低さに対処すること。
• 実世界データの微調整なしに、3Dシミュレーションデータから実世界の動画へゼロショット転移を可能にすること。
• 人間の行動をカメラ固有の要因（視点やシーンテクスチャなど）から分離する不変表現を学習することで、モデルの頑健性を向上させること。
• シミュレーションオンativeトレーニング設定において一般化を向上させる有効なデータ拡張戦略を開発すること。
• 実世界データなしで有効性を示すシミュレーションベース学習のための新規ベンチマークを確立すること。

提案手法

• 3Dシミュレータ（CARLA）を用いて、複数の視点、ピクセル単位のセマンティックセグメンテーション特徴量をトラジェクトリに対して生成し、多様なカメラアングルとシーンをシミュレートする。
• 元の視点の特徴量と最も難しいカメラ視点の特徴量を凸結合によって組み合わせる、新しい拡張戦略を導入する。
• ハードな視点選択は、トレーニング中にモデルの分類損失を最大化するカメラ視点を特定することで実施され、最も挑戦的な視点に焦点を当てる。
• 白ボックス攻撃手法を用いて、元の視点特徴量に敵対的摂動を適用することで、分布シフトに対する頑健性を向上させる。
• 最終的なモデルは、敵対的トレーニングとMixupの原則を活用し、拡張されたトラジェクトリ分布上の経験的仮想リスクを最小化するように訓練される。
• 照明やセンサーノイズへの感受性を低減しドメイン一般化を向上させるために、RGBピクセルの代わりにシーンのセマンティック特徴量を用いる。

実験結果

リサーチクエスチョン

• RQ1 3Dシミュレーションデータのみでトレーニングされたトラジェクトリ予測モデルは、新しいカメラ視点やシーンを持つ実世界の動画に効果的に一般化できるか？
• RQ2 シミュレーションにおけるデータ拡張は、カメラ視点やシーン外観の変動に対する頑健性をどのように向上させるか？
• RQ3 具体的にどの拡張コンponent—敵対的例、視点選択、またはマルチビューデータ—がゼロショット一般化を最も効果的に向上させるか？
• RQ4 SimAugを用いたシミュレーションオンリーモデルは、実データ微調整済みモデルと比較して、標準ベンチマークで最先端の性能を達成できるか？
• RQ5 実世界トレーニングデータが存在しない状況で、提案手法は既存のデータ拡張および敵対的トレーニングベースラインを上回ることができるか？

主な発見

• SimAugは、実世界のトレーニングデータを一切使用せずに、Stanford Droneデータセットで最先端の性能を達成し、minADE 1: 15.7、minFDE 1: 30.2を記録した。
• VIRAT/ActEVベンチマークでは、同じ実世界データでトレーニングされたMultiverseモデルを上回り、実データなしでminADE 1: 21.7、minFDE 1: 42.2を達成した。
• 実データでの微調整を施した場合、SimAugはVIRAT/ActEVで最高の性能を記録し、minADE 1: 10.27、minFDE 1: 19.71を達成した。
• アブレーションスタディの結果、敵対的攻撃や視点選択を除去すると、特に挑戦的なArgoverseデータセットにおいて顕著な性能低下が生じた。
• トップダウンビューをマルチビューデータに含めることで性能が向上し、ランダム摂動が特にArgoverseにおいて頑健性を確保するために不可欠であることが示された。
• 本手法は、すべての3つのベンチマークで、標準的な拡張、敵対的トレーニング、模倣学習のベースラインを上回る強力なゼロショット一般化を示した。