[논문 리뷰] Deep Learning for LiDAR Point Clouds in Autonomous Driving: A Review

Ying Li, Lingfei Ma외 5명|arXiv (Cornell University)|2020. 05. 20.

Advanced Neural Network Applications참고 문헌 143인용 수 25

한 줄 요약

이 논문은 자율주행 차량에서 LiDAR 포인트 클라우드에 대한 딥러닝(DL) 기법에 대한 종합적인 리뷰를 제공하며, 3D 세분화, 객체 탐지 및 분류에 중점을 둔다. 140개 이상의 핵심 논문을 조사하고, 최신 기술 모델, 데이터셋 및 평가 지표를 평가하며, 데이터 희소성, 모델 효율성, 약한 지도 학습이 필요한 문제점과 같은 핵심 과제를 규명한다.

ABSTRACT

Recently, the advancement of deep learning in discriminative feature learning from 3D LiDAR data has led to rapid development in the field of autonomous driving. However, automated processing uneven, unstructured, noisy, and massive 3D point clouds is a challenging and tedious task. In this paper, we provide a systematic review of existing compelling deep learning architectures applied in LiDAR point clouds, detailing for specific tasks in autonomous driving such as segmentation, detection, and classification. Although several published research papers focus on specific topics in computer vision for autonomous vehicles, to date, no general survey on deep learning applied in LiDAR point clouds for autonomous vehicles exists. Thus, the goal of this paper is to narrow the gap in this topic. More than 140 key contributions in the recent five years are summarized in this survey, including the milestone 3D deep architectures, the remarkable deep learning applications in 3D semantic segmentation, object detection, and classification; specific datasets, evaluation metrics, and the state of the art performance. Finally, we conclude the remaining challenges and future researches.

연구 동기 및 목표

• 자율주행 차량을 위한 LiDAR 포인트 클라우드에서의 딥러닝 응용에 대한 종합적인 설문 조사가 부족한 문제를 해결하기 위해.
• 3D 딥러닝 아키텍처의 주요 이정표와 그들의 세분화, 탐지 및 분류 작업에 대한 응용을 시스템적으로 정리하고 분석하기 위해.
• 주요 작업에 대해 기존 LiDAR 데이터셋, 평가 지표 및 최신 기술 성능를 요약하기 위해.
• 강력한 데이터 표현, 효율적인 프레임워크, 맥락 학습, 다중 작업 학습 및 약한 지도 학습 방법에 대한 열린 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 최근 5년간 LiDAR 포인트 클라우드에 대한 딥러닝 기여 140개 이상에 대한 체계적인 문헌 리뷰를 수행하였다.
• PointNet, PointNet++, PointCNN, DGCNN, RotationNet 등의 아키텍처 설계 기반으로 3D 딥러닝 모델을 분류하고 비교하였다.
• 바이트, 포인트 클라우드, 그래프, 2D 투영 등의 데이터 표현 방식을 분석하고, 효율성과 성능 간의 상충 관계를 평가하였다.
• KITTI, nuScenes, Waymo 등의 벤치마크 데이터셋을 조사하고, 세분화 및 탐지 작업에 대해 mIoU, mAP, IoU 등의 표준 평가 지표를 요약하였다.
• 정량적 벤치마크를 사용하여 모델 성능을 작업별로 평가하고, 정확도, 추론 속도 및 일반화 성능의 추세를 규명하였다.
• 데이터 희소성, 종단 간 융합의 부재, 지도 학습에서의 일반화 한계와 같은 열린 과제를 식별하고 논의하였다.

실험 결과

연구 질문

• RQ1 자율주행 응용을 위한 3D 포인트 클라우드 처리에 있어 3D 딥러닝 아키텍처 중 핵심적인 것은 무엇인가?
• RQ2 다양한 데이터 표현 방식(예: 바이트, 포인트 클라우드, 그래프)이 3D 딥러닝 모델의 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 자율주행에서 3D 세분화, 객체 탐지 및 분류 작업에 가장 널리 사용되는 데이터셋과 평가 지표는 무엇인가?
• RQ4 현재 LiDAR 포인트 클라우드에 대한 딥러닝 접근 방식의 주요 제한 사항과 열린 과제는 무엇인가, 특히 데이터 희소성과 모델 일반화 측면에서?
• RQ5 다중 작업 학습, 약한 지도 학습 및 비지도 학습은 3D 인식 모델의 강건성과 확장성 향상에 어떻게 기여할 수 있는가?

주요 결과

• PointNet과 PointNet++는 순서 없는 포인트 집합에서의 순열 불변성과 엔드 투 엔드 학습을 가능하게 하여 포인트 클라우드 처리의 기초 모델을 확립하였다.
• DGCNN과 PointCNN은 그래프 컨볼루션과 적응형 수신장 영역을 통해 국소 특징 추출을 향상시켜 복잡한 환경에서의 성능을 향상시켰다.
• 바이트 기반 방법은 구조화된 표현을 제공하지만 해상도의 세제곱 비례로 계산 비용이 급격히 증가하여 문제를 야기한다.
• 진전이 있었음에도 불구하고, 정확도와 계산 비용을 균형 잡는 메모리 효율적이고 강력한 3D 데이터 표현에 대한 합의가 아직 존재하지 않는다.
• 최신 기술 모델은 KITTI와 nuScenes에서 3D 객체 탐지 작업에서 mAP(80% 이상)을 달성하고 있으나, 임베디드 플랫폼에서 실시간 추론은 여전히 과제이다.
• 희소하고 불완전한 포인트 클라우드 처리, 맥락 정보 추출, 대규모 완전한 레이블링 데이터셋에 대한 의존도 감소 등의 주요 과제가 여전히 남아 있다.