[論文レビュー] CADSim: Robust and Scalable in-the-wild 3D Reconstruction for Controllable Sensor Simulation

Jingkang Wang, Sivabalan Manivasagam+6 more|arXiv (Cornell University)|Nov 2, 2023

Autonomous Vehicle Technology and Safety被引用数 7

ひとこと要約

CADSim は、部品認識可能な CAD モデル事前知識と微分可能レンダリングを用いて、スパarsなノイズの多いセンサデータから、高精細でアーティキュレート可能で光沢のあるメッシュを生成する、強固でスケーラブルな方法を提案する。形状の正確性が高く、リアルタイムレンダリングが可能であり、自動運転車開発のための現実的で制御可能なセンサシミュレーションを可能にする。

ABSTRACT

Realistic simulation is key to enabling safe and scalable development of % self-driving vehicles. A core component is simulating the sensors so that the entire autonomy system can be tested in simulation. Sensor simulation involves modeling traffic participants, such as vehicles, with high quality appearance and articulated geometry, and rendering them in real time. The self-driving industry has typically employed artists to build these assets. However, this is expensive, slow, and may not reflect reality. Instead, reconstructing assets automatically from sensor data collected in the wild would provide a better path to generating a diverse and large set with good real-world coverage. Nevertheless, current reconstruction approaches struggle on in-the-wild sensor data, due to its sparsity and noise. To tackle these issues, we present CADSim, which combines part-aware object-class priors via a small set of CAD models with differentiable rendering to automatically reconstruct vehicle geometry, including articulated wheels, with high-quality appearance. Our experiments show our method recovers more accurate shapes from sparse data compared to existing approaches. Importantly, it also trains and renders efficiently. We demonstrate our reconstructed vehicles in several applications, including accurate testing of autonomy perception systems.

研究の動機と目的

• 自動運転シミュレーションにおける手動 3D モデル作成の限界を克服すること。これは高コストで遅く、スケーラビリティに欠ける。
• スパarsかつノイズの多い実環境センサデータに対する既存の再構築手法の性能が低いため、過度に滑らかでないか、アーチファクトを含むメッシュが生成される問題を克服すること。
• グラフィックスエンジンと互換性があり、編集可能で制御可能な正確な 3D 車両アセットを生成することにより、リアルなマルチセンサシミュレーションを実現すること。
• 再構築された車両の効率的でリアルタイムレンダリングを可能にし、クローズドループ学習と大規模評価を可能にすること。
• 混合現実への挿入や、レアまたは安全に重要なシナリオのシミュレーションなど、新たな応用を可能にすること。

提案手法

• クラス固有の少数の CAD モデルを、部品認識可能な形状事前知識として用い、3D 再構築の高品質な初期化を提供する。
• エネルギー最小化フレームワーク内に微分可能レンダラーを統合し、マルチビューのカメラおよび LiDAR 観測からメッシュの幾何学的形状と外観を最適化する。
• メッシュ表現を用いることで、グラフィックスエンジンとの互換性を確保し、アーティキュレート部品（ホイールなど）のリアルタイムレンダリング、リギング、アニメーションを可能にする。
• 再構築中にカメラ画像と LiDAR ポイントクラウドの両方を同時に最適化することで、マルチセンサの一貫性を統合する。
• 異なる車両形状間で頂点に一致するテクスチャ転送を適用し、多様で現実的な素材変化を生成する。
• ポーズの操作、ホイールのアーティキュレーション、影のレンダリングを可能にすることで、制御可能なシミュレーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 部品認識可能な CAD モデル事前知識は、スパarsかつノイズの多い実環境センサデータからの 3D 再構築の正確性と耐障害性を顕著に向上させることができるか？
• RQ2 微分可能レンダリングは、リアルタイム効率を維持しながら、高精細で光沢があり、幾何学的に整合したメッシュ再構築を可能にするか？
• RQ3 アーティキュレート部品を備えた再構築された車両は、自律システムのための現実的で制御可能なセンサシミュレーションをどの程度生成できるか？
• RQ4 形状、外観、アーティキュレーションの観点から、CADSim は多様な実世界の車両にどの程度一般化できるか？
• RQ5 再構築されたアセットは、高い現実性で混合現実への挿入やテクスチャ転送といった新たなシミュレーション応用を可能にするか？

主な発見

• CADSim は、特に観測がスパarsな状況下でも、カメラおよび LiDAR データの両方において、既存の再構築手法を上回る形状の正確性を達成している。
• 一般的なメッシュテンプレートに依存するベースライン手法と比較して、アーチファクトや自己干渉の少ないメッシュを生成している。
• 再構築された車両は高い光沢性を示し、異なる形状に対しても正確な外観、照明、テクスチャの整合性が保たれている。
• 本手法は、複雑で安全に重要なシナリオのための、マルチセンサデータ（カメラおよび LiDAR）の効率的でリアルタイムのレンダリングとシミュレーションを可能にしている。
• 実世界の車両間で高品質な部品対応を実現したテクスチャ転送により、多様で現実的なアセットバリエーションの作成が可能になった。
• CADSim のアセットから生成されたシミュレーテッドセンサデータは、現実のシーンに自然に溶け込み、現実的な遮蔽、影、ホイール回転などの動的挙動を再現している。