[논문 리뷰] Generating Photo-realistic Images from LiDAR Point Clouds with Generative Adversarial Networks

Nuriel Shalom Mor|arXiv (Cornell University)|2021. 12. 20.

Image Processing and 3D Reconstruction인용 수 7

한 줄 요약

이 논문은 반사율과 거리 데이터를 포함한 LiDAR 포인트 클라우드에서 사진처럼 생긴 이미지를 생성하기 위해 조건부 GAN 기반 방법을 제안한다. 자체 구축한 데이터셋으로 훈련된 모델은 실제적인 이미지—특히 탐지가 어려운 블랙 카를 포함하여—성공적으로 예측하여, 포인트 클라우드 내의 맥락적 단서가 카메라 입력 없이도 효과적인 이미지 생성을 가능하게 하며, 후속 시각 인식 작업을 지원함을 보여준다.

ABSTRACT

We examined the feasibility of generative adversarial networks (GANs) to generate photo-realistic images from LiDAR point clouds. For this purpose, we created a dataset of point cloud image pairs and trained the GAN to predict photorealistic images from LiDAR point clouds containing reflectance and distance information. Our models learned how to predict realistically looking images from just point cloud data, even images with black cars. Black cars are difficult to detect directly from point clouds because of their low level of reflectivity. This approach might be used in the future to perform visual object recognition on photorealistic images generated from LiDAR point clouds. In addition to the conventional LiDAR system, a second system that generates photorealistic images from LiDAR point clouds would run simultaneously for visual object recognition in real-time. In this way, we might preserve the supremacy of LiDAR and benefit from using photo-realistic images for visual object recognition without the usage of any camera. In addition, this approach could be used to colorize point clouds without the usage of any camera images.

연구 동기 및 목표

• 조건부 GAN이 반사율과 거리 정보를 포함한 LiDAR 포인트 클라우드에서 사진처럼 생긴 이미지를 생성할 수 있는지 조사하는 것.
• 직접 LiDAR 포인트 클라우드에서 탐지하기 어려운 낮은 반사율 물체인 블랙 카와 같은 물체를 탐지하는 데 도전하는 것.
• 생성된 이미지에서 시각적 객체 인식 및 의미 분할을 가능하게 하여, LiDAR의 정확성을 유지하면서 카메라 유사 시각적 특징을 활용하는 것.
• 어떤 카메라 이미지도 필요로 하지 않고 포인트 클라우드를 색상화하는 것의 가능성을 탐색하는 것.
• 실시간 시각 인식을 위한 실시간 시각 처리를 가능하게 하는, LiDAR 시스템과 GAN 기반 이미지 생성 시스템을 함께 작동시키는 이중 센서 시스템을 개발하는 것.

제안 방법

• 고각도 해상도와 다중 리턴 기능을 갖춘 InnovizOne LiDAR 센서를 사용하여, 쌍체로 구성된 LiDAR 포인트 클라우드와 해당 실제 이미지의 자체 구축 데이터셋을 수집하였다.
• 포인트 클라우드를 반사율을 위한 하나, 거리를 위한 하나로 총 두 채널의 이미지로 변환하여, pix2pix 조건부 GAN 아키텍처의 입력으로 사용하였다.
• 생성자와 판별자 네트워크 간의 이중 플레이어 최소-최대 게임을 통해, 고해상도 이미지 번역을 보장하기 위해 적대적 손실과 L1 손실을 병합하여 pix2pix GAN을 훈련시켰다.
• 배치 크기가 1인 상태에서 40 에포크 동안 훈련을 수행하였으며, 생성자와 판별자 간의 이중 플레이어 최소-최대 게임을 통해 최적화하였다.
• 생성자는 실제 이미지와 유사한 이미지를 생성하도록 최적화되었고, 판별자는 실제 이미지와 생성된 이미지를 구분하도록 학습되었다.
• 특정 객체 존재 유사도를 평가하기 위해 자체 설계된 평가 지표를 도입하여, 생성된 이미지에서 탐지 가능한 자동차 수와 참값 이미지에서의 수의 비율을 측정하였다.

실험 결과

연구 질문

• RQ1 반사율과 거리 정보만을 포함한 LiDAR 포인트 클라우드에서 조건부 GAN이 사진처럼 생긴 이미지를 생성할 수 있는가?
• RQ2 생성된 이미지가 블랙 카와 같은 낮은 반사율 물체의 존재와 외관과 같은 중요한 시각적 세부 정보를 유지할 수 있는가?
• RQ3 포인트 클라우드 내 맥락 정보가 반사율 데이터가 직접 제공되지 않는 블랙 차량 탐지에서 얼마나 보완할 수 있는가?
• RQ4 생성된 이미지가 객체 검출 및 의미 분할과 같은 후속 시각 인식 작업을 지원할 수 있는가?
• RQ5 이러한 GAN 기반 이미지 생성 기술이 기존 LiDAR와 함께 보조 시스템으로 활용되어 실제 카메라 없이도 카메라 유사 시각 처리를 가능하게 할 수 있는가?

주요 결과

• 모델은 반사율과 거리 정보만을 포함한 LiDAR 포인트 클라우드에서 사진처럼 생긴 이미지를 성공적으로 생성하였으며, 직접 탐지하기 어려운 블랙 카가 포함된 복잡한 장면도 포함하였다.
• 생성자는 실제 차량의 색상이나 형태와 완벽하게 일치하지 않음에도 불구하고, 주로 맥락적 단서를 통해 블랙 카를 예측하는 데 성공하였다.
• 자체 설계된 평가 지표는 두 실험 모두에서 0.7에서 0.8의 점수를 기록하여, 기준값 이미지에 존재하는 자동차의 70–80%가 생성된 이미지에서 탐지 가능하다는 것을 시사하였다.
• 40개의 훈련 에포크 이후 과적합 현상이 발생하여, 일반화 성능 향상을 위해 모델 용량과 데이터 다양성의 최적화가 추가로 필요하다는 점을 시사하였다.
• 결과적으로 LiDAR 포인트 클라우드만으로도 카메라 입력 없이도 시각 인식 작업에 적합한 이미지를 생성할 수 있음을 입증하였다.
• 이 방법은 카메라 없이 포인트 클라우드를 색상화할 수 있으며, 기존의 표준 LiDAR 시스템과 GAN 기반 이미지 생성기를 조합한 이중 센서 아키텍처를 지원함으로써 실시간 시각 처리를 가능하게 한다.