[논문 리뷰] SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving

Zhenpei Yang, Yuning Chai외 6명|arXiv (Cornell University)|2020. 05. 08.

Computer Graphics and Visualization Techniques참고 문헌 40인용 수 4

한 줄 요약

SurfelGAN은 단일 차량 주행 동안의 실측 라이다 및 카메라 데이터만을 사용하여 자율주행 시뮬레이션을 위한 현실적인 카메라 이미지를 합성하는 데이터 기반 접근법을 제안한다. 텍스처가 부여된 서페이스 엘리먼트(surfel)로 장면을 재구성한 후, GAN을 활용해 새로운 시점에서 고해상도 이미지를 생성함으로써 현실성과 품질을 크게 향상시키고, 객체 검출 모델 훈련을 위한 효과적인 데이터 증강을 가능하게 한다.

ABSTRACT

Autonomous driving system development is critically dependent on the ability to replay complex and diverse traffic scenarios in simulation. In such scenarios, the ability to accurately simulate the vehicle sensors such as cameras, lidar or radar is essential. However, current sensor simulators leverage gaming engines such as Unreal or Unity, requiring manual creation of environments, objects and material properties. Such approaches have limited scalability and fail to produce realistic approximations of camera, lidar, and radar data without significant additional work. In this paper, we present a simple yet effective approach to generate realistic scenario sensor data, based only on a limited amount of lidar and camera data collected by an autonomous vehicle. Our approach uses texture-mapped surfels to efficiently reconstruct the scene from an initial vehicle pass or set of passes, preserving rich information about object 3D geometry and appearance, as well as the scene conditions. We then leverage a SurfelGAN network to reconstruct realistic camera images for novel positions and orientations of the self-driving vehicle and moving objects in the scene. We demonstrate our approach on the Waymo Open Dataset and show that it can synthesize realistic camera data for simulated scenarios. We also create a novel dataset that contains cases in which two self-driving vehicles observe the same scene at the same time. We use this dataset to provide additional evaluation and demonstrate the usefulness of our SurfelGAN model.

연구 동기 및 목표

• 게임 엔진에서의 수작업 환경 설계에 의존하지 않고도 확장 가능하고 현실적인 센서 시뮬레이션을 구축하는 데 도전한다.
• 재질, 기하학적 구조, 센서 모델 설정에 대한 수작업 설정이 필요한 전통적 시뮬레이터의 한계를 극복한다.
• 실제 세계 센서 데이터를 활용해 고해상도 시각 출력을 위한 순수 데이터 기반 파이프라인을 개발한다.
• 실제 장면의 다양한 사진처럼 생긴 시점을 합성하여 실재 데이터 기반의 현실적인 데이터 증강을 통해 인식 모델 훈련을 지원한다.
• 실제 다중 에이전트 조건에서의 새로운 시점 합성 평가를 위한 새로운 기준 데이터셋(이중 차량 관측 데이터)을 구축한다.

제안 방법

• 기하학, 텍스처, 의미론, 외관을 모두 포함하는 개선된 서페이스 엘리먼트 표현을 사용해 단일 또는 다중 주행 데이터로부터 3D 장면을 재구성한다.
• 서페이스 엘리먼트 지도를 이용해 새로운 자율주행 차량 자세 및 물체 구성에서 장면의 새로운 시점을 렌더링한다.
• 저해상도의 서페이스 엘리먼트 렌더링을 사진처럼 생긴 이미지로 변환하기 위해 GAN 기반의 이미지 합성 네트워크(SurfelGAN)를 적용한다.
• 실제 이미지, 서페이스 엘리먼트 렌더링, 그리고 새로운 내부 카메라 데이터셋을 조합하여 SurfelGAN를 훈련시키며, 인간의 시각적 실감도와 실제 이미지와의 L1 거리 최적화를 목표로 한다.
• 이미지 품질 향상과 생성 결과의 잡음 감소를 위해 사이클 일致성 손실(cycle-consistency loss)과 적대적 훈련을 적용한다.
• 모델을 활용해 데이터 증강을 위한 데이터를 생성하며, 실제 데이터에서 추출한 3D 바운딩 박스를 새로운 2D 시점으로 투영하여 검출기 훈련에 활용한다.

실험 결과

연구 질문

• RQ1 수작업 환경 설계 없이 데이터 기반 접근법이 자율주행 시나리오에 대해 사진처럼 생긴 카메라 이미지를 생성할 수 있는가?
• RQ2 서페이스 엘리먼트 기반 장면 재구성과 GAN 기반 이미지 합성은 실제 센서 데이터의 시각적 품질과 통계적 특성과 얼마나 유사한가?
• RQ3 실제 데이터 또는 서페이스 엘리먼트 렌더링만으로 훈련하는 것에 비해 SurfelGAN로 생성된 데이터는 객체 검출기 훈련에 얼마나 효과적인가?
• RQ4 시스템의 실패 유형은 무엇이며, 재구성 오류나 기하학적 누락이 이미지 합성 품질에 어떤 영향을 미치는가?
• RQ5 이중 차량 관측 데이터를 포함한 새로운 데이터셋은 자율주행 시뮬레이션에서 새로운 시점 합성 평가에 어떻게 기여하는가?

주요 결과

• SurfelGAN은 서페이스 엘리먼트 렌더링에 비해 이미지의 현실성과 품질을 크게 향상시켜 실제 이미지와의 L1 거리를 감소시키며, 추가 손실나 기반 모델들보다 뛰어난 성능을 보였다.
• L1 거리 최적화에 특화된 SurfelGAN-S 버전은 더 복잡한 모델들(SA 및 SAC)보다 뛰어난 성능을 보이며, 목표 지표에 직접 최적화하는 것이 효과적임을 입증했다.
• SurfelGAN로 생성된 이미지를 활용한 데이터 증강은 실재 데이터만으로 훈련하는 것에 비해 차량 검출기의 평균 정밀도를 3.5%p 향상시켰다 (AP@50: 21.9% → 25.4%).
• SurfelGAN로 생성된 이미지는 AP@75에서 1.3%p 향상되었고 (10.8% → 12.1%), 평균 AP는 1.1%p 증가하여 (11.9% → 13.0%) 강력한 실용적 유용성을 보였다.
• 실패 케이스 분석을 통해 재구성 품질의 한계, 특히 맵핑되지 않은 영역나 큰 기하학적 오류가 발생하는 영역에서는 GAN이 현실적인 텍스처를 효과적으로 유추하지 못하는 것으로 나타났다.
• 이중 차량 관측 데이터를 포함한 제안된 데이터셋은 새로운 시점 합성의 신뢰성 있는 평가를 가능하게 하여 향후 자율주행 시뮬레이션 연구를 위한 새로운 기준이 되었다.