[논문 리뷰] MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving

Zirui Wu, Tianyu Liu외 14명|arXiv (Cornell University)|2023. 07. 27.

Advanced Neural Network Applications인용 수 4

한 줄 요약

MARS는 자율주행을 위한 새로운 오픈소스 NeRF 기반 시뮬레이터로, 배경 환경과 전경 객체를 별도로 모델링하여 개별적으로 제어할 수 있는 인스턴스 인식형, 모듈러형, 영상 수준의 사실적인 시 cảnh 렌더링을 가능하게 한다. 이는 V-KITTI에서 PSNR: 28.37를 기록하며 영상 현실성에서 최신 기술 수준을 달성하였으며, 모듈러 아키텍처를 통해 교환 가능한 신경 볼륨 렌더링 백본과 샘플링 전략을 통해 객체 궤적 및 외관의 탄력적 편집을 지원한다.

ABSTRACT

Nowadays, autonomous cars can drive smoothly in ordinary cases, and it is widely recognized that realistic sensor simulation will play a critical role in solving remaining corner cases by simulating them. To this end, we propose an autonomous driving simulator based upon neural radiance fields (NeRFs). Compared with existing works, ours has three notable features: (1) Instance-aware. Our simulator models the foreground instances and background environments separately with independent networks so that the static (e.g., size and appearance) and dynamic (e.g., trajectory) properties of instances can be controlled separately. (2) Modular. Our simulator allows flexible switching between different modern NeRF-related backbones, sampling strategies, input modalities, etc. We expect this modular design to boost academic progress and industrial deployment of NeRF-based autonomous driving simulation. (3) Realistic. Our simulator set new state-of-the-art photo-realism results given the best module selection. Our simulator will be open-sourced while most of our counterparts are not. Project page: https://open-air-sun.github.io/mars/.

연구 동기 및 목표

• 자율주행에서 희귀하고 고위험 성격의 코너 케이스를 최소한의 시뮬레이션에서 실제 환경 간 도메인 갭을 줄이며 시뮬레이션하는 데에 도전한다.
• 기존 시뮬레이터들이 동적 시 cảnh에서 인스턴스 수준 제어와 영상 수준의 사실성에 한계를 가진다는 문제를 해결한다.
• 다양한 NeRF 백본, 샘플링 전략, 입력 모odalities를 유연하게 통합할 수 있는 모듈러 프레임워크를 개발하여 확장 가능한 연구 및 구현을 가능하게 한다.
• 인스턴스 편집과 현실적인 센서 시뮬레이션을 지원하는 오픈소스 플랫폼을 제공하여 알고리즘 훈련의 향상에 기여한다.

제안 방법

• 시뮬레이터는 배경 노드와 다수의 전경 노드로 시장을 분해하며, 각 노드는 정적 및 동적 속성을 별도로 제어할 수 있도록 별도의 신경 볼륨 렌더링을 사용한다.
• 시야의 가시성을 판단하기 위해 레이-박스 교차를 사용하며, 각 레이를 인스턴스 전용 좌표 프레임을 거쳐 노드 표현을 쿼리하기 이전에 처리한다.
• 전경 노드는 인스턴스 전용 특성을 위한 학습된 임bedding을 포함한 카테고리 수준의 NeRF 표현을 사용하는 반면, 배경은 격자 기반 또는 MLP 기반 NeRF를 사용하여 시점 기하학을 모델링한다.
• 모듈러 디자인을 통해 다양한 백본(예: 격자, MLP), 샘플러(예: 제안, 굵은-세밀한 단계), 감독 신호(예: 깊이, 의미 정보, 하늘 손실)를 즉시 교체 가능하게 한다.
• 모든 가시 노드에서 레이를 따라 샘플을 조합하여 RGB 이미지, 깊이 맵, 의미 마스크를 렌더링한다.
• 훈련은 RGB 이미지, 자세, 3D 경계 상자, 그리고 선택적 깊이 및 세그먼테이션 마스크를 포함한 다중 모odal 입력을 사용하여 감독 학습한다.

실험 결과

연구 질문

• RQ1 NeRF 기반 시뮬레이터가 인스턴스 수준 편집을 지원하면서도 자율주행 시뮬레이션에서 최신 기술 수준의 영상 수준의 사실성을 달성할 수 있는가?
• RQ2 NeRF 구성 요소(백본, 샘플러, 감독)의 모듈러성은 렌더링 품질과 탄력성에 어떤 영향을 미치는가?
• RQ3 동적 차량과 정적 배경을 인스턴스 수준에서 모델링하는 것이 시뮬레이션에서 실제 환경으로의 일반화를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 프레임워크가 공개 벤치마크에서 기존 시뮬레이터보다 현실성과 제어 가능성 면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 MARS 프레임워크는 V-KITTI 벤치마크에서 최신 기술 수준의 PSNR 28.37과 SSIM 0.907을 기록하며 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 절단 분석 결과, 기본 설정(격자 기반 배경, 카테고리 수준 전경, 굵은-세밀한 단계 샘플링)이 최고의 성능을 내며, KITTI에서 PSNR 25.04, V-KITTI에서 PSNR 28.37를 기록했다.
• 하늘 손실과 깊이 감독이 포함될 경우, 기본 설정 대비 V-KITTI에서 LPIPS가 0.046 감소하여 렌더링 품질 향상이 확인되었다.
• 모듈러 디자인 덕분에 효과적인 절단 및 비교 분석이 가능했으며, 최고 성능 설정은 비모듈러 기반 설정 대비 PSNR 2.5–3.5 dB 향상된 성능을 기록했다.
• 인스턴스 편집이 성공적으로 구현되었으며, 차량 제거, 추가, 궤적 수정 등에 대해 현실적인 시각 결과를 도출했다.
• 높은 현실성에도 불구하고 훈련에 수 시간이 소요되며 실시간 추론은 지원되지 않으며, 반사 표면에서의 동적 반사 효과는 여전히 한계로 남아 있다.