[논문 리뷰] Deep Learning for 3D Point Cloud Understanding: A Survey

Haoming Lu, Humphrey Shi|arXiv (Cornell University)|2020. 09. 18.

3D Shape Modeling and Analysis참고 문헌 135인용 수 27

한 줄 요약

이 종합 검토는 3D 포인트 클라우드 이해를 위한 딥러닝 방법에 대한 포괄적인 개요를 제공하며, 분류, 세분화, 탐지, 추적, 정렬, 데이터 증강을 포함한다. 최신 모델, 벤치마크, 그리고 순열 불변성과 희소성과 같은 도전 과제를 체계적으로 검토하며, PointNet 및 PointNet++와 같은 핵심 아키텍처와 그 작업 간의 진화를 강조한다.

ABSTRACT

The development of practical applications, such as autonomous driving and robotics, has brought increasing attention to 3D point cloud understanding. While deep learning has achieved remarkable success on image-based tasks, there are many unique challenges faced by deep neural networks in processing massive, unstructured and noisy 3D points. To demonstrate the latest progress of deep learning for 3D point cloud understanding, this paper summarizes recent remarkable research contributions in this area from several different directions (classification, segmentation, detection, tracking, flow estimation, registration, augmentation and completion), together with commonly used datasets, metrics and state-of-the-art performances. More information regarding this survey can be found at: https://github.com/SHI-Labs/3D-Point-Cloud-Learning.

연구 동기 및 목표

• 다양한 작업을 통해 3D 포인트 클라우드 이해를 위한 딥러닝 기법에 대한 체계적이고 최신의 종합 검토를 제공하는 것.
• 비정형적이고 노이즈가 많으며 희소한 3D 포인트 클라우드를 딥 네트워크로 처리할 때의 핵심 과제를 식별하고 분석하는 것.
• 핵심 3D 비전 작업에 대해 최신 모델, 데이터셋, 평가 지표 및 성능 벤치마크를 요약하는 것.
• 완성, 업샘플링 및 적대적 내성 향상과 같은 데이터 품질 향상 기술의 발전을 부각하는 것.
• 최근 진전을 체계적인 카테고리로 정리하고 실용적인 구현 자원을 제공함으로써 연구자들에게 참고 자료로 기능하는 것.

제안 방법

• 3D 포인트 클라우드를 위한 딥러닝 접근 방식을 분류, 세분화, 탐지, 추적, 정렬, 데이터 증강, 완성으로 분류한다.
• 순서 없는 포인트 세트의 순열 불변 처리를 가능하게 하는 공유 다층 퍼셉트론과 T-Net을 활용한 기초 모델인 PointNet 및 PointNet++를 검토한다.
• 2단계 탐지기 및 시아모이드 네트워크와 같은 작업별 적응 기술을 분석하여 3D 공간 내 객체 탐지 및 매칭을 수행한다.
• PU-Net, PCN 및 RL-GAN-Net을 포함한 GAN 및 오토인코더와 같은 생성 모델을 활용해 포인트 클라우드의 업샘플링 및 완성에 대해 분석한다.
• 트리-GAN 및 DUP-Net과 같은 적대적 방법을 평가하여 포인트 클라우드 데이터의 변형 및 노이즈에 대한 강건성을 향상시킨다.
• ModelNet40, ScanNet, KITTI, nuScenes 등의 여러 데이터셋과 표준 평가 지표를 통합하여 다양한 작업 간의 모델 성능을 비교한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 순서가 없는, 희소하고 노이즈가 많은 3D 포인트 클라우드를 처리하면서 순열 불변성을 유지할 수 있는가?
• RQ2 3D 포인트 클라우드 분류, 의미적 세분화 및 객체 탐지에 가장 효과적인 아키텍처와 학습 전략는 무엇인가?
• RQ3 생성 모델은 어떻게 부분적으로 손상된 포인트 클라우드를 보완하거나 저해상도 데이터를 업샘플링하는 데 활용될 수 있는가?
• RQ4 3D 포인트 클라우드 정렬 및 매칭의 핵심 과제는 무엇이며, 딥러닝 모델은 이를 어떻게 해결하는가?
• RQ5 적대적 공격 및 방어는 3D 딥러닝 모델의 강건성에 어떤 영향을 미치며, 가장 효과적인 방어 방법은 무엇인가?

주요 결과

• PointNet 및 PointNet++는 순열 불변성과 높은 성능을 달성함으로써 3D 분류 및 세분화 작업에 기초가 되는 아키텍처를 확립했다.
• ModelNet40에서 최신 모델은 형태 분류 작업에서 95% 이상의 정확도를 기록하여 깔끔하고 합성된 데이터에 대해 강력한 일반화 능력을 보였다.
• 의미적 세분화의 경우, S3DIS 및 ScanNet 벤치마크에서 현대적 모델은 S3DIS에서 mIoU 점수 70% 이상, ScanNet에서 60% 이상을 달성했다.
• 3D 객체 탐지의 경우, PointRCNN 및 CenterPoint와 같은 모델은 KITTI 벤치마크에서 중간 난이도에 대해 mAP 점수 60% 이상을 기록했다.
• PCN 및 GRNet과 같은 생성 모델은 부분 포인트 클라우드의 고품질 완성에 성공했으며, Chamfer Distance와 같은 지표에서 기준 방법 대비 최대 40% 향상되었다.
• 적대적 훈련 및 SOR와 같은 노이즈 제거 모듈을 포함한 DUP-Net은 강건성을 크게 향상시켜 PointNet 기반 모델에서 적대적 공격의 성공률을 50% 이상 감소시켰다.