[논문 리뷰] LiDAR Sensor modeling and Data augmentation with GANs for Autonomous driving

Ahmad El Sallab, Ibrahim Sobh외 2명|arXiv (Cornell University)|2019. 05. 17.

Advanced Neural Network Applications참고 문헌 16인용 수 33

한 줄 요약

이 논문은 CycleGAN을 사용한 비쌍(image-to-image) 변환으로 LiDAR 센서 모델링을 수행하여 시뮬레이션 CARLA LiDAR를 실제 KITTI LiDAR로 매핑(sim2real)하고 LiDAR 표현의 실제-실제(real2real) 변환을 수행하여 데이터 증강 및 현실성 향상을 가능하게 한다.

ABSTRACT

In the autonomous driving domain, data collection and annotation from real vehicles are expensive and sometimes unsafe. Simulators are often used for data augmentation, which requires realistic sensor models that are hard to formulate and model in closed forms. Instead, sensors models can be learned from real data. The main challenge is the absence of paired data set, which makes traditional supervised learning techniques not suitable. In this work, we formulate the problem as image translation from unpaired data and employ CycleGANs to solve the sensor modeling problem for LiDAR, to produce realistic LiDAR from simulated LiDAR (sim2real). Further, we generate high-resolution, realistic LiDAR from lower resolution one (real2real). The LiDAR 3D point cloud is processed in Bird-eye View and Polar 2D representations. The experimental results show a high potential of the proposed approach.

연구 동기 및 목표

• 자율 주행 데이터 증강을 위한 현실적인 LiDAR 센서 모델의 필요성을 동기화한다.
• 시뮬레이션과 실제 데이터의 unpaired 데이터를 사용하여 LiDAR 감지 모형을 학습하는 비지도 학습 접근법을 제안한다.
• 두 가지 LiDAR 표현(BEV 및 PGM)을 도메인 간 번역에 활용한다.
• 시뮬레이션에서 현실로의 변환(sim2real) 및 실제에서 실제로의 변환(real2real)을 시연하여 시뮬레이션 데이터로부터 현실적인 LiDAR 데이터를 생성하고 해상도를 향상시킨다.
• 생성된 LiDAR 데이터의 평가 전략을 논의하고 향후 개선점을 제시한다.

제안 방법

• CycleGAN을 이용한 비쌍 이미지-이미지 변환 문제로 LiDAR 센서 모델링을 형식화한다.
• 두 도메인 간 번역: CARLA의 시뮬레이션 LiDAR와 KITTI의 실제 LiDAR를 BEV 및 PGM 투영을 사용하여 번역한다.
• GAN 손실을 두 방향(G: sim2real, F: real2sim)과 사이클-일관성 손실과 함께 정의한다.
• 2D LiDAR 표현(BEV 및 2D PGM)을 적용하여 3D 정보를 2D 프레임워크에서 보존한다.
• 객체 수준 내용을 보존하기 위해 작업 특화 손실 및 외재 손실로 CycleGAN을 확장하는 것을 선택적으로 제안한다.
• 데이터셋으로 CARLA를 X, KITTI를 Y로 설정하고 실험을 위한 2000 프레임 하위집합을 탐구한다.

실험 결과

연구 질문

• RQ1 CycleGAN이 페어링 샘플 없이 시뮬레이션된 LiDAR 데이터와 실제 LiDAR 데이터 간에 현실적인 매핑을 학습할 수 있는가?
• RQ2 BEV 및 PGM 표현은 sim2real 번역에 충분한 LiDAR 정보를 보존하는가?
• RQ3 비지도 이미지-이미지 변환을 사용해 하이 해상도 LiDAR로의 번역이 가능한가?
• RQ4 객체 탐지 지향 메트릭과 같은 외재 평가 방법이 생성된 LiDAR 데이터의 품질을 정량화할 수 있는가?
• RQ5 후처 perception 작업을 위해 LiDAR 데이터를 평가하고 보강하기 위한 실행 가능한 전략은 무엇인가?

주요 결과

• CycleGAN 기반 번역은 CARLA 입력으로부터 KITTI 유사 BEV를 생성할 수 있으며 KITTI의 일반적 특성을 보존한다.
• Real2real 번역은 더 조밀한 LiDAR 채널 구성으로 이동할 때 콘텐츠를 전이할 수 있음을 보여준다.
• PGM 기반 번역은 3D LiDAR 정보를 밀집한 2D 표현으로 인코딩하고 번역할 수 있음을 보여준다.
• 연구는 재구성 품질, 주석 전이, 그리고 외재적 작업 기반 평가를 포함한 다양한 평가 경로를 논의한다.
• 저자들은 데이터 보강 및 현실성 향상을 위한 프레임워크를 제안하며 향후 작업에서 작업 특화 손실 항 및 외재 평가자를 사용하는 확장 가능성을 제시한다.