[논문 리뷰] Review: deep learning on 3D point clouds

Saifullahi Aminu Bello, Shangshu Yu외 1명|arXiv (Cornell University)|2020. 01. 17.

3D Shape Modeling and Analysis참고 문헌 102인용 수 4

한 줄 요약

이 논문은 구조화되지 않은 점군에 직접 학습하는 것을 목표로 하며, 격자 기반 전처리의 한계를 극복하기 위한 최신 딥러닝 기법들을 종합적으로 검토한다. PointNet 및 그 변종과 같은 아키텍처를 살펴보며, 샘플링, 군집화, MLP 기반의 특징 학습을 통해 국소적 구조를 포착함으로써 ModelNet40 및 KITTI와 같은 분류, 세분화, 탐지 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

Point cloud is point sets defined in 3D metric space. Point cloud has become one of the most significant data format for 3D representation. Its gaining increased popularity as a result of increased availability of acquisition devices, such as LiDAR, as well as increased application in areas such as robotics, autonomous driving, augmented and virtual reality. Deep learning is now the most powerful tool for data processing in computer vision, becoming the most preferred technique for tasks such as classification, segmentation, and detection. While deep learning techniques are mainly applied to data with a structured grid, point cloud, on the other hand, is unstructured. The unstructuredness of point clouds makes use of deep learning for its processing directly very challenging. Earlier approaches overcome this challenge by preprocessing the point cloud into a structured grid format at the cost of increased computational cost or lost of depth information. Recently, however, many state-of-the-arts deep learning techniques that directly operate on point cloud are being developed. This paper contains a survey of the recent state-of-the-art deep learning techniques that mainly focused on point cloud data. We first briefly discussed the major challenges faced when using deep learning directly on point cloud, we also briefly discussed earlier approaches which overcome the challenges by preprocessing the point cloud into a structured grid. We then give the review of the various state-of-the-art deep learning approaches that directly process point cloud in its unstructured form. We introduced the popular 3D point cloud benchmark datasets. And we also further discussed the application of deep learning in popular 3D vision tasks including classification, segmentation and detection.

연구 동기 및 목표

• 비정형적이고, 비구조적이며, 순서가 없는 3D 점군에 딥러닝을 직접 적용하는 데 발생하는 과제를 해결하기 위해.
• 점군을 구조화된 격자로 변환하는 초기 접근법을 검토하며, 계산 비용 증가와 정보 손실 등의 한계를 강조하기 위해.
• 점군을 원본 형태 그대로 처리하는 최근 최신 딥러닝 기법들을 상세히 검토하기 위해.
• 주요 3D 비전 작업에서 성능을 평가하기 위한 핵심 3D 점군 벤치마크 데이터셋을 제시하고, 이를 바탕으로 성능를 평가하기 위해.
• 3D 점군 학습 분야에서의 열린 연구 방향, 예를 들어 인스턴스 세분화 및 대규모 시나리오 처리를 식별하기 위해.

제안 방법

• 점군에 대한 딥러닝 과제를 비정형성, 비구조적 성격, 순서 없는 점 집합으로 분류하기 위해.
• 점군을 볼륨 격자나 베이비즈 뷰로 변환하여 CNN 사용을 가능하게 하는 전처리 기반 방법을 검토하기 위해.
• 특히 PointNet 및 그 확장 기법을 중심으로, 최대 풀링과 같은 순열 불변 연산을 사용하는 직접 점군 처리 방법을 분석하기 위해.
• 국소적 특징 추출의 핵심 파이프라인을 설명하기 위해: 중심점 선택을 위한 샘플링, K-NN를 통한 이웃 점 군집화, 그리고 MLP 또는 PointNet 유사 모듈을 사용한 국소적 표현 학습.
• 국소 패치 내의 점 간 상호관계를 모델링하는 아키텍처 혁신을 강조하여 특징의 구별 능력을 향상시키기 위해.
• 모달리티(라이더, RGB-D, 다중 모odal), 속도, 및 ModelNet40 및 KITTI와 같은 표준 벤치마크에서의 성능 기반으로 방법을 비교하기 위해.

실험 결과

연구 질문

• RQ1 비정형적 3D 점군에 딥러닝을 직접 적용할 때 발생하는 주요 과제는 무엇인가?
• RQ2 전처리 기반 방법은 이러한 과제를 어떻게 해결하며, 그 핵심적 한계는 무엇인가?
• RQ3 점군에 직접 딥러닝을 가능하게 하는 핵심 아키텍처 원리는 무엇이며, 국소적 및 전반적 구조를 어떻게 유지하는가?
• RQ4 최근 기법들은 PointNet에 비해 국소 기하학적 관계를 어떻게 더 잘 포착하는가?
• RQ5 인스턴스 세분화 및 대규모 시나리오 이해와 같은 3D 점군 작업에서 현재의 성능 한계와 열린 과제는 무엇인가?

주요 결과

• PointNet 및 그 변종은 분류 및 세분화 작업에서 뛰어난 성능을 보이며, PointNet++는 계층적 샘플링과 군집화를 통해 국소적 특징 학습을 향상시킨다.
• ModelNet40 벤치마크에서 PointNet은 오직 XYZ 좌표만을 사용하여 89.2%의 분류 정확도를 달성하여 순열 불변 학습의 효과를 입증한다.
• KITTI 데이터셋에서의 3D 객체 탐지 작업에서 PointPillars는 3D 탐지 벤치마크에서 mAP 59.2%를 기록했으며, 베이비즈 뷰 벤치마크에서는 56.0%를 기록했고, 추론 속도는 62 Hz였다.
• PointRCNN 및 VoxelNet과 같은 방법들은 KITTI 3D 탐지 벤치마크에서 mAP 80% 이상을 달성하여 점군에서의 객체 탐지 정확도가 매우 높다는 것을 시사한다.
• 다른 성과에도 불구하고, 인스턴스 세분화 및 점군에서 직접 3D 탐지 기법은 여전히 탐색이 부족한 분야이며, [120, 121]와 같은 몇몇 논문들만 대규모 시나리오 처리 문제를 다루고 있다.
• 라이더와 이미지의 다중 모달 입력을 사용하면 탐지 성능이 향상되며, AVOD-FPN과 같은 방법은 KITTI 3D 벤치마크에서 mAP 55.62%를 기록했다.