[논문 리뷰] Unsupervised Neural Sensor Models for Synthetic LiDAR Data Augmentation

Ahmad El Sallab, Ibrahim Sobh외 2명|arXiv (Cornell University)|2019. 11. 24.

Advanced Neural Network Applications참고 문헌 14인용 수 5

한 줄 요약

이 논문은 쌍이 없는 데이터를 사용하여 시뮬레이션된 CARLA LiDAR 포인트 클라우드를 실제 KITTI 유사 분포로 매핑하는 두 가지 비지도 신경 센서 모델—CycleGAN 및 신경 스타일 전이(Neural Style Transfer)—을 제안한다. 이 모델들은 YOLO 기반의 오리엔티드 검출 프레임워크에서 Bird's Eye View LiDAR 투영에 대해 데이터 증강에 사용되었을 때, 원시 시뮬레이션 데이터보다 최대 6% 향상된 객체 검출 mAP 성능을 달성한다.

ABSTRACT

Data scarcity is a bottleneck to machine learning-based perception modules, usually tackled by augmenting real data with synthetic data from simulators. Realistic models of the vehicle perception sensors are hard to formulate in closed form, and at the same time, they require the existence of paired data to be learned. In this work, we propose two unsupervised neural sensor models based on unpaired domain translations with CycleGANs and Neural Style Transfer techniques. We employ CARLA as the simulation environment to obtain simulated LiDAR point clouds, together with their annotations for data augmentation, and we use KITTI dataset as the real LiDAR dataset from which we learn the realistic sensor model mapping. Moreover, we provide a framework for data augmentation and evaluation of the developed sensor models, through extrinsic object detection task evaluation using YOLO network adapted to provide oriented bounding boxes for LiDAR Bird-eye-View projected point clouds. Evaluation is performed on unseen real LiDAR frames from KITTI dataset, with different amounts of simulated data augmentation using the two proposed approaches, showing improvement of 6% mAP for the object detection task, in favor of the augmenting LiDAR point clouds adapted with the proposed neural sensor models over the raw simulated LiDAR.

연구 동기 및 목표

• 시뮬레이터에서 생성한 합성 데이터로 실세계 데이터를 보완하여 LiDAR 기반 인식에서의 데이터 부족 문제를 해결한다.
• 쌍이 없는 실세계-시뮬레이션 데이터를 기반으로 실제 LiDAR 센서 행동을 모델링하는 과제를 해결한다.
• 시뮬레이션된 LiDEAR 포인트 클라우드에서 실세계 LiDAR 포인트 클라우드로의 분포 이탈을 학습하는 비지도 신경 센서 모델을 개발한다.
• 객체 검출을 프록시 작업으로 삼아 데이터 증강 프레임워크를 통해 이러한 모델의 효과성을 평가한다.
• 실제 세계 테스트 데이터에서 하류 인식 성능 향상에 기여하는 현실적인 센서 모델링이 가능한지를 입증한다.

제안 방법

• CARLA 시뮬레이터를 사용하여 깔끔하고 레이블이 부여된 LiDAR 포인트 클라우드를 합성 데이터로 생성한다.
• 실제 LiDAR 데이터 분포로 KITTI 데이터셋을 사용하여 센서 매핑을 학습한다.
• 쌍이 없는 번역을 학습하기 위해 시뮬레이션된 데이터에서 실세계 데이터 분포로의 변환을 학습하는 CycleGAN 기반 신경 센서 모델을 훈련시킨다.
• 실제 KITTI LiDAR 데이터의 스타일을 유지하면서 콘텐츠를 보존하는 방식으로 신경 스타일 전이(NST) 모델을 훈련시켜 시뮬레이션된 CARLA 포인트 클라우드에 적용한다.
• YOLO 기반의 오리엔티드 객체 검출 파이프라인에서 Bird's Eye View 투영에 대해 두 모델을 사용하여 현실적인 합성 LiDAR 데이터를 생성하고, 이를 데이터 증강에 활용한다.
• 다양한 양의 증강된 합성 데이터를 사용하여, 실세계 KITTI 테스트 프레임에서의 mAP를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 CycleGAN 및 NST와 같은 비지도 도메인 번역 기법이 쌍이 없는 데이터를 기반으로 시뮬레이션된 LiDAR 데이터에서 실세계 데이터로의 분포 이탈을 효과적으로 모델링할 수 있는가?
• RQ2 실세계 데이터만으로 훈련된 객체 검출 모델과 비교해 볼 때, 증강된 합성 데이터로 훈련된 모델의 성능은 어떠한가?
• RQ3 실제 세계의 특성을 반영한 현실적인 신경 센서 모델을 사용할 경우, 원시 시뮬레이션 데이터를 사용한 증강 대비 검출 mAP 향상이 이루어지는가?
• RQ4 Visual fidelity와 하류 검출 성능 측면에서 CycleGAN 및 NST 기반 신경 센서 모델은 어떻게 상호 비교되는가?
• RQ5 증강된 합성 데이터 비율을 증가시킬 경우 검출 성능에 어떤 영향을 미치며, 포화 현상이 발생하는가?

주요 결과

• 원시 시뮬레이션 CARLA 데이터만으로 훈련된 기준 모델은 실세계 KITTI 테스트 데이터에서 mAP 12.1%를 기록하여 큰 도메인 갭이 있음을 시사한다.
• 실제 KITTI 데이터에 원시 시뮬레이션 프레임 10만장을 증강하여 사용한 결과 mAP가 65.3%로 향상되었으며, 수정되지 않은 합성 데이터의 경우는 효과가 미미함을 보였다.
• CycleGAN 기반 신경 센서 모델을 사용한 증강은 mAP를 71.5%로 향상시켜 원시 시뮬레이션 대비 6% 향상된 성과를 기록했다.
• NST 기반 모델은 mAP 69.3%를 기록하여 일관된 향상 효과를 보였지만, 모든 증강 비율에서 CycleGAN에 비해 약간 낮은 성능을 보였다.
• 증강된 합성 데이터의 양이 증가함에 따라 CycleGAN 및 NST 모델은 지속적인 mAP 향상을 보였고, 원시 시뮬레이션의 경우는 포화 상태에 도달하여 성능 저하 위험이 있었다.
• 시각적 분석 결과, CycleGAN이 실세계 KITTI 데이터의 노이즈와 잡음을 더 잘 반영한 것으로 확인되었으며, NST는 콘텐츠 보존은 더 잘했지만 실제 세계의 불완전성을 모델링하는 데는 성능이 떨어졌다.