[論文レビュー] Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation

David Acuna, Jonah Philion+1 more|arXiv (Cornell University)|Nov 15, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、合成ドライブシミュレーション（CARLA）から現実世界の認識タスクへの転移を向上させるドメイン適応フレームワークを提案する。不変表現学習と根拠に基づいたデータサンプリングによりドメインギャップを最小化する。本手法は、合成ラベルのみを用いてnuScenesで鳥瞰図視点車両セグメンテーションにおいて最先端の性能を達成し、天候やマップ設計の主な変動要因が適応によって補償可能であることを示し、シミュレータの高精細度に依存する必要性を低減する。

ABSTRACT

Autonomous driving relies on a huge volume of real-world data to be labeled to high precision. Alternative solutions seek to exploit driving simulators that can generate large amounts of labeled data with a plethora of content variations. However, the domain gap between the synthetic and real data remains, raising the following important question: What are the best ways to utilize a self-driving simulator for perception tasks? In this work, we build on top of recent advances in domain-adaptation theory, and from this perspective, propose ways to minimize the reality gap. We primarily focus on the use of labels in the synthetic domain alone. Our approach introduces both a principled way to learn neural-invariant representations and a theoretically inspired view on how to sample the data from the simulator. Our method is easy to implement in practice as it is agnostic of the network architecture and the choice of the simulator. We showcase our approach on the bird's-eye-view vehicle segmentation task with multi-sensor data (cameras, lidar) using an open-source simulator (CARLA), and evaluate the entire framework on a real-world dataset (nuScenes). Last but not least, we show what types of variations (e.g. weather conditions, number of assets, map design, and color diversity) matter to perception networks when trained with driving simulators, and which ones can be compensated for with our domain adaptation technique.

研究の動機と目的

• 自律走行認識における合成シミュレーションデータと現実世界ドライビングデータの間の現実ギャップを解消すること。
• 実世界ラベルを必要とせずにドメインシフトを最小化するシミュレーション戦略を開発すること。
• 天候、アセット、ポストプロセッシングなど、シミュレータのどの変動要因がモデル一般化に重要であるかを特定すること。
• モジュール型でシミュレータに依存せず、センサーモダリティ（カメラ、LiDAR）を問わず有効な手法を設計すること。
• ドメイン適応が欠落または簡略化されたシミュレーション要素を補償できるかどうかを評価すること。

提案手法

• 一般化限界を用いてデータサンプリングをガイドするように、シミュレーションから現実への転移をドメイン適応問題として定式化する。
• ソースドメインとターゲットドメインのラベルマージナル間の距離を低減する手法を導入し、ドメインシフトを最小化する。
• 敵対的ドメイン適応に適応するため、ピアソンχ²乖離最小化を用いてf-DAL手法を密度予測タスクに拡張する。
• ドメイン敵対的学習と疑似ラベル付けを組み合わせ、特徴の整合性と予測の一貫性を向上させる。
• シミュレータに依存しないサンプリング戦略を採用し、シーンコンテンツの多様性を優先しながら分布シフトを最小化する。
• 鳥瞰図視点セグメンテーションにLift-Splat-Transformバックボーンを用い、ドメイン適応を組み込んだ合成データ上でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションにおけるどの変動要因（例：天候、車両アセット、マップ設計）が現実世界でのモデル一般化に最も重要か？
• RQ2 ドメイン適応技術は、欠落または簡略化されたシミュレーション要素を効果的に補償できるか？
• RQ3 理論的根拠に基づいて、ドメインギャップを最小化するようにシミュレータからデータをどのようにサンプリングすべきか？
• RQ4 合成ラベルのみが利用可能な状況で、ドメイン適応が性能向上にどの程度寄与できるか？
• RQ5 提案手法は、カメラとLiDARの異なるセンサーモダリティ間で一般化可能か？

主な発見

• 提案手法Lift-Splat-Adaptは、CARLAからの合成データのみを用いて、nuScenesの鳥瞰図視点車両セグメンテーションベンチマークで最先端の性能を達成した。
• CARLAで「晴れ」の天候設定のみを用いても性能が安定しており、NPCを固定事前分布からサンプリングした場合、多様な天候設定を用いた場合よりも優れた性能を示した。
• 車両アセットの多様性が低い状況でも、本手法は高い性能を維持でき、たった1つの車両アセットでも高い性能を発揮した。
• CARLAにおけるカメラのポストプロセッシング効果（例：ヴィンゼット、ブルーム）は、ドメイン適応によって大きく補償可能であり、リアルなレンダリングの必要性が低下した。
• 本手法はセンサーモダリティを問わず良好に一般化し、カメラベースおよびLiDARベースの認識タスクの両方で有効性を示した。
• 制限事項として、CARLAのアセットライブラリとは著しく異なる車両の検出に失敗し、脚と自転車の間の誤った相関関係に起因する誤検出が偶発的に発生することがあった。