[論文レビュー] ReSimAD: Zero-Shot 3D Domain Transfer for Autonomous Driving with Source Reconstruction and Target Simulation

Bo Zhang, Xinyu Cai+11 more|arXiv (Cornell University)|Sep 11, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

ReSimAD は自動運転におけるゼロショット 3D ドメイン適応フレームワークを提案し、ソースドメインのアノテート済みデータから 3D モデルを再構築し、ターゲットドメイン固有のセンサー特性を組み込むことで、ターゲットドメインに類似した点群をシミュレートする。この手法は、Waymo-to-KITTI や Waymo-to-nuScenes といったクロスドメインベンチマークで、実際のターゲットデータを用いた教師ありドメイン適応ベースラインを上回る最先端のゼロショット 3D 検出性能を達成し、シミュレートされたデータを用いた有効な 3D プリトレーニングを可能にする。

ABSTRACT

Domain shifts such as sensor type changes and geographical situation variations are prevalent in Autonomous Driving (AD), which poses a challenge since AD model relying on the previous domain knowledge can be hardly directly deployed to a new domain without additional costs. In this paper, we provide a new perspective and approach of alleviating the domain shifts, by proposing a Reconstruction-Simulation-Perception (ReSimAD) scheme. Specifically, the implicit reconstruction process is based on the knowledge from the previous old domain, aiming to convert the domain-related knowledge into domain-invariant representations, e.g., 3D scene-level meshes. Besides, the point clouds simulation process of multiple new domains is conditioned on the above reconstructed 3D meshes, where the target-domain-like simulation samples can be obtained, thus reducing the cost of collecting and annotating new-domain data for the subsequent perception process. For experiments, we consider different cross-domain situations such as Waymo-to-KITTI, Waymo-to-nuScenes, Waymo-to-ONCE, etc, to verify the zero-shot target-domain perception using ReSimAD. Results demonstrate that our method is beneficial to boost the domain generalization ability, even promising for 3D pre-training.

研究の動機と目的

• センサータイプの変更や地理的差異に起因するドメインシフトの課題に対処すること。
• 実際のターゲットドメインデータの収集やアノテーションなしに、3D パーセプションモデルを新しいドメインにゼロショットで転送できること。
• 新環境へのモデルデプロイに伴う高コストな実世界データ収集と人的アノテーションへの依存を低減すること。
• 再構築およびシミュレートされたデータを用いた 3D プリトレーニングの可能性を検討し、一般化性能の向上を図ること。

提案手法

• 暗黙的再構築を用いて、ソースドメインのアノテート済み点群から 3D モデルレベルのメッシュを再構築し、ドメイン固有の特徴を分離する。
• 再構築された 3D メッシュを基にターゲットドメインのシミュレーションを条件づけ、ターゲット固有の LiDAR パarameters とシーン属性を組み込む。
• 実際のターゲットドメインデータの分布に類似した合成点群を生成し、構造的・意味的リアリズムを保持する。
• シミュレートされたデータを用いてゼロショット 3D 検出およびプリトレーニングを実行し、実データ収集とアノテーションを回避する。
• 標準的な 3D 検出パイプライン（例：PV-RCNN++ や SECOND-IOU）にシミュレートされたデータを統合し、下流のファインチューニングを可能にする。
• ターゲットドメインに関する最小限の事前知識（例：センサースペック）を活用して、シミュレーションプロセスをガイドする。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインのデータから得られる暗黙的 3D 再構築が、ゼロショット転送に適したドメイン不変のシーン表現を生成できるか？
• RQ2 再構築された 3D メッシュからターゲットドメインに類似した点群をシミュレートすることで、実際のデータがなくとも未学習ドメインで高い検出性能を達成できるか？
• RQ3 ReSimAD は、実際のターゲットドメインデータを用いた教師ありドメイン適応手法と比較してどの程度有効であるか？
• RQ4 ReSimAD が生成するデータは、下流のパーセプションタスクのための有効な 3D プリトレーニングを可能にするか？

主な発見

• Waymo-to-nuScenes のゼロショット検出において、ReSimAD は BEV/AP3D 36.45 / 18.94 を達成し、ゼロショットベースライン（24.57 / 15.12）を上回り、オラクル性能（50.54 / 33.41）に近づいた。
• Waymo-to-KITTI では、70.57 / 84.50 / 57.06 APBEV/AP3D を達成し、実際のターゲットデータがなくとも強力なゼロショット一般化性能を示した。
• 100K 個のシミュレートデータを用いることで、ReSimAD は 100K 実際の ONCE データを用いたプリトレーニングと同等または優れたファインチューニング性能を達成した。
• 軽量検出器（例：SECOND-IOU）に対しても一貫した向上を示し、実世界システムへの実用的応用可能性を裏付けた。
• 可視化結果から、ReSimAD が生成する点群は、道路面や街路構造などの現実的なシーン構造を保持しており、直接的な CARLA シミュレーションを上回った。
• 暗黙的再構築プロセスは、VDBFusion よりも明瞭で連続性の高いメッシュを生成し、シミュレーションの忠実度を向上させた。