[논문 리뷰] ReSimAD: Zero-Shot 3D Domain Transfer for Autonomous Driving with Source Reconstruction and Target Simulation

Bo Zhang, Xinyu Cai외 11명|arXiv (Cornell University)|2023. 09. 11.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

ReSimAD는 자율주행을 위한 3D 도메인 적응을 위한 제로샷 프레임워크를 제안하며, 소스 도메인의 애너테이션된 데이터로부터 3D 장면을 재구성하고, 타겟 도메인에 특화된 센서 특성들을 주입하여 타겟 도메인 유사 포인트 클라우드를 시뮬레이션한다. 이 방법은 Waymo-to-KITTI 및 Waymo-to-nuScenes와 같은 교차 도메인 벤치마크에서 제로샷 3D 검출 성능을 최고 수준으로 달성하며, 실제 타겟 데이터를 사용하는 지도 학습 기반 도메인 적응 보다도 뛰어난 성능을 보이며, 시뮬레이션된 데이터를 활용한 효과적인 3D 사전학습을 가능하게 한다.

ABSTRACT

Domain shifts such as sensor type changes and geographical situation variations are prevalent in Autonomous Driving (AD), which poses a challenge since AD model relying on the previous domain knowledge can be hardly directly deployed to a new domain without additional costs. In this paper, we provide a new perspective and approach of alleviating the domain shifts, by proposing a Reconstruction-Simulation-Perception (ReSimAD) scheme. Specifically, the implicit reconstruction process is based on the knowledge from the previous old domain, aiming to convert the domain-related knowledge into domain-invariant representations, e.g., 3D scene-level meshes. Besides, the point clouds simulation process of multiple new domains is conditioned on the above reconstructed 3D meshes, where the target-domain-like simulation samples can be obtained, thus reducing the cost of collecting and annotating new-domain data for the subsequent perception process. For experiments, we consider different cross-domain situations such as Waymo-to-KITTI, Waymo-to-nuScenes, Waymo-to-ONCE, etc, to verify the zero-shot target-domain perception using ReSimAD. Results demonstrate that our method is beneficial to boost the domain generalization ability, even promising for 3D pre-training.

연구 동기 및 목표

• 센서 유형의 변화 또는 지리적 변동으로 인한 도메인 간 이동 문제를 해결한다.
• 실제 타겟 도메인 데이터 수집 및 애너테이션 없이도 새로운 도메인으로 3D 인식 모델을 제로샷 전이할 수 있도록 한다.
• 신규 환경에 모델을 구현하기 위해 고비용의 실세계 데이터 수집 및 인간 애너테이션에 대한 의존도를 줄인다.
• 재구성 및 시뮬레이션된 데이터를 활용한 3D 사전학습의 가능성을 탐색하여 일반화 능력을 향상시킨다.

제안 방법

• 암묵적 재구성 기법을 사용하여 소스 도메인의 애너테이션된 포인트 클라우드에서 3D 장면 수준의 메시를 재구성하고, 도메인 특화된 특징을 분리한다.
• 재구성된 3D 메시를 기반으로 타겟 도메인 시뮬레이션을 조건화하여, 타겟 전용 라이다 파ameters와 장면 속성을 주입한다.
• 실제 타겟 도메인 데이터 분포를 모방하는 합성 포인트 클라우드를 생성하며, 구조적 및 의미적 현실감을 유지한다.
• 실제 데이터 수집 및 애너테이션을 피하기 위해, 시뮬레이션된 데이터를 사용해 제로샷 3D 검출 및 사전학습을 수행한다.
• PV-RCNN++ 및 SECOND-IOU와 같은 표준 3D 검출 파이프라인에 시뮬레이션된 데이터를 통합하여 후속 튜닝을 수행한다.
• 최소한의 타겟 도메인에 대한 사전 지식(예: 센서 사양)을 활용하여 시뮬레이션 과정을 안내한다.

실험 결과

연구 질문

• RQ1 소스 도메인 데이터로부터 암묵적인 3D 재구성을 통해 제로샷 전이에 적합한 도메인 불변 장면 표현을 생성할 수 있는가?
• RQ2 재구성된 3D 메시에서 타겟 도메인 유사 포인트 클라우드를 시뮬레이션하면, 실제 데이터 없이도 새로운 도메인에서 높은 검출 성능를 달성할 수 있는가?
• RQ3 실제 타겟 도메인 데이터를 사용하는 지도 학습 기반 도메인 적응 방법과 비교해 ReSimAD는 얼마나 효과적인가?
• RQ4 ReSimAD가 생성한 데이터는 후속 인식 작업을 위한 효과적인 3D 사전학습을 지원할 수 있는가?

주요 결과

• Waymo-to-nuScenes 제로샷 검출에서 ReSimAD는 BEV/AP3D 36.45 / 18.94를 달성하여 제로샷 베이스라인(24.57 / 15.12)을 초월하고 오라클 성능(50.54 / 33.41)에 가까워졌다.
• Waymo-to-KITTI에서 ReSimAD는 70.57 / 84.50 / 57.06 APBEV/AP3D 성능을 기록하여 실제 타겟 데이터 없이도 강력한 제로샷 일반화 능력을 입증했다.
• 100K개의 시뮬레이션 샘플을 사용할 경우, ReSimAD는 100K개의 실세계 ONCE 데이터로 사전학습한 것과 비교해 유사하거나 더 뛰어난 미세조정 성능를 달성할 수 있었다.
• 가벼운 검출기인 SECOND-IOU에서도 일관된 성능 향상을 보이며 실세계 시스템에 대한 실용적 적용 가능성을 입증했다.
• 시각화 결과 ReSimAD가 생성한 포인트 클라우드는 도로 표면 및 도로 레이아웃과 같은 현실적인 장면 구조를 유지하고 있으며, 직접 CARLA 시뮬레이션보다 뛰어난 성능을 보였다.
• 암묵적 재구성 과정은 기존 방법인 VDBFusion보다 더 선명하고 연속적인 메시를 생성하여 시뮬레이션의 정밀도를 향상시켰다.