[論文レビュー] LOPR: Latent Occupancy PRediction using Generative Models

Bernard Lange, Masha Itkina+1 more|arXiv (Cornell University)|Oct 3, 2022

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

LOPRは、VAE-GANベースの生成モデルと、学習済み潜在空間におけるTransformerベースの予測器を用いて、表現学習と確率的シーン予測を分離する、新たな潜在占有予測フレームワークを提案する。LiDAR、RGBカメラ、HDマップを同時に条件付けすることで、手動ラベルなしに、NuScenes、Waymo Open、およびカスタムデータセットで最先端の性能を達成する。

ABSTRACT

Environment prediction frameworks are integral for autonomous vehicles, enabling safe navigation in dynamic environments. LiDAR generated occupancy grid maps (L-OGMs) offer a robust bird's eye-view scene representation that facilitates joint scene predictions without relying on manual labeling unlike commonly used trajectory prediction frameworks. Prior approaches have optimized deterministic L-OGM prediction architectures directly in grid cell space. While these methods have achieved some degree of success in prediction, they occasionally grapple with unrealistic and incorrect predictions. We claim that the quality and realism of the forecasted occupancy grids can be enhanced with the use of generative models. We propose a framework that decouples occupancy prediction into: representation learning and stochastic prediction within the learned latent space. Our approach allows for conditioning the model on other available sensor modalities such as RGB-cameras and high definition maps. We demonstrate that our approach achieves state-of-the-art performance and is readily transferable between different robotic platforms on the real-world NuScenes, Waymo Open, and a custom dataset we collected on an experimental vehicle platform.

研究の動機と目的

• グリッドセルベースの決定論的占有予測モデルが生じるぼやけた、現実的でない出力と、シーンレベルの確率的挙動をモデル化できないという限界を解消する。
• トラジェクトリ予測フレームワークが手動ラベルに依存するのを克服し、生のセンサ入力からのエンドツーエンド、自己教師付き学習を可能にする。
• 表現学習とタスク固有の予測を分離することで、ロボットプラットフォーム間で堅牢で再利用可能なシーン予測を実現する。
• 不確実性をモデル化し、マルチモーダル入力（LiDAR、RGB、HDマップ）を活用することで、未来の占有グリッドマップの現実性と正確性を向上させる。

提案手法

• 占有予測を2段階に分解する：(1) LiDAR、RGB、HDマップを含むマルチモーダルセンサデータ上で訓練されたVAE-GANモデルによる表現学習、(2) 学習済み潜在空間における確率的予測。
• シーンの空間的・意味的構造を保持する低次元の分離された潜在表現を学習するため、VAE-GANを訓練する。
• 潜在コードとマルチモーダルコンテキストを条件として、Transformerベースのデコーダーを用いて確率的未来占有予測を生成する。
• LiDAR占有グリッド、RGB画像、HDマップを条件として予測ネットワークに供給することで、シーン理解と一般化性能を向上させる。
• ラベルなしのセンサデータシーケンスに対して自己教師付きのシーケンス・ツー・シーケンス学習を用いて、フレームワークをエンドツーエンドで最適化する。
• 再パrameterizationと変分推論を適用することで、確率的予測を微分可能にし、バックプロパゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルセンサデータから学習した分離された潜在空間は、未来の占有グリッド予測の現実性と正確性を向上させることができるか？
• RQ2 表現学習と予測を分離することで、エンドツーエンドのグリッドベースモデルと比較して、より優れた一般化性能と移植性が得られるか？
• RQ3 潜在空間における確率的予測は、決定論的予測に比べて、シーンレベルの現実性と不確実性モデリングにおいて優れているか？
• RQ4 RGBおよびHDマップ入力は、部分観測や遮蔽下でも予測性能を向上させるためにどの程度活用可能か？
• RQ5 このフレームワークは、トラジェクトリ予測などの下流の教師ありタスクのための事前学習目的として機能できるか？

主な発見

• LOPRは、NuScenes、Waymo Open、およびカスタムの実世界データセットで、先行するL-OGMおよび動画予測モデルを上回る最先端の性能を達成した。
• LiDAR、RGB、HDマップを完全に条件づけたLOPRの確率的バージョンは、NuScenesにおける3秒予測予測期間で0.61のmIoUを達成し、決定論的ベースラインを著しく上回った。
• LOPRは、移動するエージェントを正しく伝搬させ、複雑なシナリオ（対向車両、非標準的な道路形状など）でも静的シーンの詳細を保持する現実的で多様な予測を生成した。
• フレームワークは、未観測のエージェント（例：対向車両）がシーンに出現するのを的確に推論し、堅牢な一般化と不確実性モデリングを示した。
• LOPRはプラットフォーム間で強く移植可能であり、再トレーニングを最小限に抑えて異なるロボットシステムへのデプロイが可能だった。
• 定性的な結果から、LOPRは、遮蔽の推論や動的相互作用を含む、妥当なシーンのバリエーションを生成でき、地面真値が完全に観測されていなくても同様に有効であることが示された。