[論文レビュー] MUVO: A Multimodal Generative World Model for Autonomous Driving with Geometric Representations

Daniel Bogdoll, Yitian Yang+3 more|arXiv (Cornell University)|Nov 20, 2023

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

MUVOは、自律走行を目的としたマルチモーダルで教師なしの生成的ワールドモデルを提案する。このモデルは、生のカメラおよびライダー入力からセンサに依存しない3次元幾何的ボクセル占有表現を学習する。アクションに条件づけられた形で、将来のカメラ画像、ライダー点群、3次元占有グリッドを同時に予測することで、すべてのモダリティにおいて予測品質が向上し、事前学習された幾何的表現が視覚的および点群生成性能の両方を向上させる。

ABSTRACT

World models for autonomous driving have the potential to dramatically improve the reasoning capabilities of today's systems. However, most works focus on camera data, with only a few that leverage lidar data or combine both to better represent autonomous vehicle sensor setups. In addition, raw sensor predictions are less actionable than 3D occupancy predictions, but there are no works examining the effects of combining both multimodal sensor data and 3D occupancy prediction. In this work, we perform a set of experiments with a MUltimodal World Model with Geometric VOxel representations (MUVO) to evaluate different sensor fusion strategies to better understand the effects on sensor data prediction. We also analyze potential weaknesses of current sensor fusion approaches and examine the benefits of additionally predicting 3D occupancy.

研究の動機と目的

• 自律走行のための生の高解像度カメラおよびライダー入力に依存する教師なし生成的ワールドモデルの開発。
• マルチモーダルセンサ入力からセンサに依存しない3次元幾何的表現を学習すること。
• 共通の幾何的理解を通じて、視覚的および点群観測の両方の将来予測品質を向上させること。
• 構造的なワールド表現として直接3次元占有グリッドを出力することで、下流の計画タスクを可能にすること。
• カメラおよびライダーのみで事前学習することで、3次元占有予測性能が向上するかどうかを調査すること。

提案手法

• モデルは、モダリティ固有のエンコーダーを経て、生のRGB画像およびライダー点群を処理し、潜在空間でマルチモーダル特徴を統合する。
• 遷移モデルは、アクション系列に条件づけられた将来の潜在状態を予測することで、アクションに条件づけられた将来予測を可能にする。
• 予測された潜在状態は、3つの出力にデコードされる：高解像度RGB画像、生のライダー点群、3次元ボクセル占有グリッド。
• 3次元占有表現は、幾何的認識あり、センサに依存しないワールドステートとして学習され、計画用途への直接利用が可能になる。
• モデルの初期化のため、カメラおよびライダーデータのみでの事前学習を採用し、微調整および重みの凍結に関するアブレーションスタディを実施。
• 高解像度で時間的に一貫性のある将来観測の生成のため、動画拡散ベースのデコーダーをフレームワークに使用。

Figure 1 : This example shows a high-resolution future prediction from MUVO for 3D occupancy and camera and lidar observations.

実験結果

リサーチクエスチョン

• RQ1 共通の幾何的認識あり3次元占有表現を学習することで、マルチモーダル生成的ワールドモデルが将来予測品質を向上させられるか？
• RQ2 生のカメラおよびライダー入力での事前学習が、3次元占有予測に意味のある空間的知識をもたらすか？
• RQ3 学習された3次元占有表現が、カメラ画像およびライダー点群予測の両方の品質を向上させられるか？
• RQ4 事前学習済み重みを用いる場合と、訓練から始めることで、3次元占有予測の性能にどのような差が生じるか？
• RQ5 教師なしでマルチモーダルな設定において、アクションに条件づけられた3次元占有予測は実現可能で有益か？

主な発見

• 3次元占有予測におけるIoUおよびRecallにおいて、PTO（事前学習、オープン重み）モデルがNPT（事前学習なし）モデルを上回った。これは、事前学習済み特徴が幾何的推論を向上させることを示している。
• PTF（事前学習、重み凍結）モデルは、時間経過とともに3次元占有性能が徐々に向上した。これは、カメラおよびライダーエンコーダーが明示的でないにもかかわらず、部分的な幾何的情報がすでにエンコードされていることを示している。
• 3次元占有予測の統合により、ライダー点群のChamfer距離とRGB画像のPSNRにおいてわずかだが一貫した改善が得られた。これは、マルチモーダル間の知識伝達が実現していることを示している。
• ほとんどの指標において、RLバリデーションセットでの性能がDSセットよりも優れていたが、IoUはDSセットでより高かった。これは、スパarsなグリッドにおける予測のノイズが原因である。
• 初期訓練段階ではPTOモデルがNPTモデルを上回ったが、最終的にはNPTモデルが精度（Precision）でリードした。これは、訓練から始めると、より慎重な予測戦略を取る傾向があることを示している。
• MUVOは、実世界のセンサデータを用いた教師なしでマルチモーダルな設定において、アクションに条件づけられた3次元占有予測を初めて実現した。

Figure 2 : Overview of MUVO. Our model consists of three stages, from left to right. First, raw camera images and lidar point clouds are processed, encoded, and fused. The resulting latent representations are then fed into our transition model. Conditioned on actions, future states are predicted. Fi