[論文レビュー] MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving

Zirui Wu, Tianyu Liu+14 more|arXiv (Cornell University)|Jul 27, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

MARS は、前景オブジェクトと背景環境を別々にモデル化することで、インスタンスに aware で、モジュラーかつ光沢的なシーンレンダリングを可能にする、新しいオープンソースの NeRF ベースの自動運転シミュレータである。画像の現実性（V-KITTI における PSNR: 28.37）で最先端の性能を達成し、モジュラーなアーキテクチャにより、交換可能なニューラルレイトランスフィールドバックボーンとサンプリング戦略を備えており、オブジェクトの軌道や外観の柔軟な編集を可能にしている。

ABSTRACT

Nowadays, autonomous cars can drive smoothly in ordinary cases, and it is widely recognized that realistic sensor simulation will play a critical role in solving remaining corner cases by simulating them. To this end, we propose an autonomous driving simulator based upon neural radiance fields (NeRFs). Compared with existing works, ours has three notable features: (1) Instance-aware. Our simulator models the foreground instances and background environments separately with independent networks so that the static (e.g., size and appearance) and dynamic (e.g., trajectory) properties of instances can be controlled separately. (2) Modular. Our simulator allows flexible switching between different modern NeRF-related backbones, sampling strategies, input modalities, etc. We expect this modular design to boost academic progress and industrial deployment of NeRF-based autonomous driving simulation. (3) Realistic. Our simulator set new state-of-the-art photo-realism results given the best module selection. Our simulator will be open-sourced while most of our counterparts are not. Project page: https://open-air-sun.github.io/mars/.

研究の動機と目的

• シミュレーションと現実のドメインギャップを最小限に抑えて、自動運転におけるレアで高リスクのコーナーケースをシミュレートする課題に対処すること。
• 既存のシミュレータが動的シーンにおけるインスタンスレベルの制御と光沢的な忠実度に欠けているという制限を克服すること。
• 多様な NeRF バックボーン、サンプリング戦略、入力モダリティの柔軟な統合を可能にするモジュラーなフレームワークの開発により、スケーラブルな研究と展開を実現すること。
• インスタンス編集とリアルなセンサーシミュレーションを支援するオープンソースプラットフォームの提供により、アルゴリズムのトレーニングを向上させること。

提案手法

• シミュレータはシーンを背景ノードと複数の前景ノードに分解し、静的および動的プロパティの独立した制御が可能な別々のニューラルレイトランスフィールドでモデル化する。
• 可視性を特定するためにレイボックスインターセクションを用い、各レイをインスタンス固有の座標フレームを経由して処理した後、ノードの表現を照会する。
• 前景ノードは、インスタンス固有の属性を学習した埋め込みを備えたカテゴリーレベルの NeRF モデルを用い、背景はグリッドベースまたは MLP ベースの NeRF を用いてシーンジオメトリをモデル化する。
• モジュラー設計により、異なるバックボーン（例：グリッド、MLP）、サンプラー（例：プロポーザル、粗いから細かいへの段階的）、および監督信号（例：深度、セマンティクス、スカイロス）のプラグアンドプレイ選択が可能である。
• 各レイに沿って、すべての可視ノードからのサンプルを合成することで、RGB画像、深度マップ、セマンティックマスクをレンダリングする。
• トレーニングは、RGB画像、ポーズ、3Dバウンディングボックスに加え、オプションの深度マップとセグメンテーションマスクを含むマルチモーダル入力を用いた監視学習で実施される。

実験結果

リサーチクエスチョン

• RQ1 NeRF ベースのシミュレータは、インスタンスレベルの編集を可能にしつつ、自動運転シミュレーションで最先端の光沢的リアリズムを達成できるか？
• RQ2 NeRF コンponent（バックボーン、サンプラー、監督）におけるモularity がレンダリング品質と柔軟性に与える影響はいかほどか？
• RQ3 動的車両と静的背景のインスタンスに aware なモデリングが、シミュレーションから現実への一般化をどの程度向上できるか？
• RQ4 提案されたフレームワークは、公開ベンチマークにおいて、既存のシミュレータよりもリアリズムと制御性で優れているか？

主な発見

• 提案された MARS フレームワークは、V-KITTI ベンチマークで PSNR 28.37、SSIM 0.907 の最先端の性能を達成し、先行手法を顕著に上回っている。
• アブレーションスタディにより、デフォルト設定（グリッドベース背景、カテゴリーレベルの前景、粗いから細かいへの段階的サンプリング）が最良のパフォーマンスを示し、KITTI では PSNR 25.04、V-KITTI では PSNR 28.37 を達成した。
• スカイロスと深度監督の導入によりレンダリング品質が向上し、ベースライン設定と比較して V-KITTI で LPIPS が 0.046 減少した。
• モジュラー設計により、効果的なアブレーションと比較が可能であり、最良のパフォーマンスを示す設定は、非モジュラーなベースラインに対して 2.5–3.5 dB の PSNR の向上を達成した。
• インスタンス編集が成功裏に実装され、車両の削除、追加、軌道の変更が現実的で高品質な視覚的結果とともに実現された。
• 高いリアリズムを実現しているが、トレーニングには数時間かかり、リアルタイム推論は非対応である。また、反射面における動的スペキュラー効果の再現は依然として課題である。