[논문 리뷰] Analyzing General-Purpose Deep-Learning Detection and Segmentation Models with Images from a Lidar as a Camera Sensor

Xianjia Yu, Sahar Salimpour외 2명|arXiv (Cornell University)|2022. 03. 08.

Advanced Optical Sensing Technologies인용 수 5

한 줄 요약

이 논문은 라이다 센서에서 생성된 저해상도 360° 이미지에 대해 일반 목적의 딥러닝 모델—객체 검출기 및 인스턴스/세그멘테이션 모델—을 평가한다. 이는 라이다를 카메라로 간주하는 방식이다. 적절한 전처리를 통해 YOLOx와 HRNet 등의 모델이 뛰어난 성능을 발휘한다 (예: 실내에서 95.3%의 사람 검출 정확도), 이는 라이다에서 유도된 이미지가 도전적인 환경에서 견고한 인식을 위해 성숙한 비전 기반 딥러닝 모델을 효과적으로 활용할 수 있음을 보여준다.

ABSTRACT

Over the last decade, robotic perception algorithms have significantly benefited from the rapid advances in deep learning (DL). Indeed, a significant amount of the autonomy stack of different commercial and research platforms relies on DL for situational awareness, especially vision sensors. This work explores the potential of general-purpose DL perception algorithms, specifically detection and segmentation neural networks, for processing image-like outputs of advanced lidar sensors. Rather than processing the three-dimensional point cloud data, this is, to the best of our knowledge, the first work to focus on low-resolution images with 360 extdegree field of view obtained with lidar sensors by encoding either depth, reflectivity, or near-infrared light in the image pixels. We show that with adequate preprocessing, general-purpose DL models can process these images, opening the door to their usage in environmental conditions where vision sensors present inherent limitations. We provide both a qualitative and quantitative analysis of the performance of a variety of neural network architectures. We believe that using DL models built for visual cameras offers significant advantages due to the much wider availability and maturity compared to point cloud-based perception.

연구 동기 및 목표

• 카메라 이미지용으로 설계된 일반 목적의 딥러닝 모델이 360° 라이다 유도 이미지에 효과적으로 적용될 수 있는지 조사하기 위해.
• 최신 기술의 객체 검출 및 세그멘테이션 모델이 저해상도, 깊이 인코딩된 라이다 이미지에서 어떻게 성능을 내는지 평가하기 위해.
• 라이다 센서가 기하학적 포인트 클라우드를 제공할 뿐 아니라 추가 하드웨어 없이도 카메라 유사 이미지도 동시에 제공할 수 있는지 여부를 확인하기 위해.
• 라이다 이미지를 입력으로 사용할 때 전처리의 영향을 모델 성능에 대해 평가하기 위해.
• 사전 훈련된 비전 모델을 라이다 기반 인식에 재사용할 수 있는지 가능성 탐색하여 전용 포인트 클라우드 모델에 대한 의존도를 줄이기 위해.

제안 방법

• 낮과 밤, 실내 및 실외 환경에서 다양한 시야각과 범위를 가진 두 대의 Ouster 라이다로부터 360° 라이다 이미지를 수집하였다.
• 표준 비전 기반 딥러닝 모델과의 호환성을 위해 저해상도 라이다 이미지를 보간을 통해 공간 해상도를 향상시키는 전처리를 수행하였다.
• 단계별 및 이단계 검출 아키텍처를 모두 활용한 네 가지 객체 검출 모델—Faster R-CNN, Mask R-CNN, YOLOv5, YOLOx—을 평가하였다.
• 모든 모델이 ResNet-50을 백본으로 사용하는 세 가지 인스턴스 및 세그멘테이션 모델—HRNet, PointRend, Mask R-CNN—을 평가하였다.
• 실세계 환경에서 정밀도, 재현율, 검출 정확도 지표를 사용해 정성적 및 정량적 분석을 수행하였다.
• 모든 실험 데이터와 결과를 공개된 GitHub 저장소에 배포하여 재현성과 향후 벤치마킹을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 RGB 이미지에서 훈련된 일반 목적의 딥러닝 모델이 저해상도, 360° 라이다 유도 이미지에서 객체를 효과적으로 검출하고 세그멘테이션할 수 있는가?
• RQ2 YOLOv5, YOLOx, Faster R-CNN, Mask R-CNN의 성능는 실내 및 실외 환경에서 라이다를 카메라로 간주한 이미지에 적용했을 때 어떻게 비교되는가?
• RQ3 전처리(예: 보간)가 이러한 모델의 검출 및 세그멘테이션 정확도에 미치는 영향은 어떠한가?
• RQ4 HRNet 및 PointRend와 같은 세분화 및 인스턴스 세그멘테이션 모델은 전통적인 포인트 클라우드 방법에 비해 라이다 생성 이미지에서 어떻게 성능을 내는가?
• RQ5 사전 훈련된 비전 모델을 라이다 기반 인식에 얼마나 많이 재사용할 수 있는가? 이는 전용 포인트 클라우드 학습 프레임워크에 대한 의존도를 얼마나 줄일 수 있는가?

주요 결과

• YOLOx가 가장 높은 검출 성능를 보였으며, 실내에서는 95.3%의 사람 검출률, 실외에서는 63.3%의 사람 검출률을 기록하였다.
• 모든 모델이 실외에서는 80% 이상의 차량, 실내에서는 80% 이상의 사람을 검출하여 다양한 조건에서도 뛰어난 기초 성능를 확보하였다.
• YOLOv5와 YOLOx는 정확도가 유사했으며, 정류장, 소방호스, 가방 등의 추가 객체 클래스에서도 높은 성능를 보였지만, 표에선 정량화되지 않았다.
• HRNet은 실내 및 실외 환경에서 고해상도의 세그멘테이션 결과를 도출하였으며, 정성적 예시를 통해 이를 입증하였다.
• PointRend와 Mask R-CNN은 복잡한 환경에서도 명확한 객체 경계 예측을 보이며 유망한 인스턴스 세그멘테이션 성능를 보였다.
• 본 연구는 보간을 통한 전처리가 저해상도 라이다 이미지에서 모델 성능을 크게 향상시켜 사전 훈련된 비전 모델의 효과적 사용을 가능하게 함을 확인하였다.