[논문 리뷰] Deep Learning for 3D Point Clouds: A Survey

Yulan Guo, Hanyun Wang외 4명|arXiv (Cornell University)|2019. 12. 27.

3D Shape Modeling and Analysis참고 문헌 252인용 수 48

한 줄 요약

3D 포인트 구름에 대한 심층 학습 방법의 포괄적 고찰로, 3D 형태 분류, 물체 탐지/추적, 포인트 클라우드 세분화를 다루고 데이터셋 비교 및 향후 방향을 제시한다.

ABSTRACT

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

연구 동기 및 목표

• 3D 포인트 구름에 대한 심층 학습 방법 연구를 동기 부여하고 체계화한다.
• 3D 형태 분류, 물체 탐지/추적, 그리고 세분화를 위한 분류 체계와 최첨단 개요를 제공한다.
• 공개 데이터셋에서 방법들을 비교하고 평가 지표와 추세를 요약한다.
• 향후 연구를 이끄는 데이터셋 및 평가 프로토콜을 강조한다.

제안 방법

• 다중 시점(view) 기반, 체적(volumetric), 포인트 기반 접근 방식으로 방법을 분류하되 포인트 기반 방법에 중점을 둔다.
• 연속 및 이산 컨볼루션, 그래프 기반 및 계층적 방법을 포함해 3D 포인트 구름에 대한 다양한 합성곱 프레임워크를 조사한다.
• PointNet/PointNet++ 및 후속 연구를 포함한 구조를 체계적으로 검토하고, 대표적인 공간적, 스펙트럴, 계층적 기법을 제시한다.
• 작업 전반에 걸쳐 사용되는 공개 데이터셋과 평가 지표를 요약한다.

실험 결과

연구 질문

• RQ1 3D 포인트 구름을 처리하기 위한 지배적인 심층 학습 패러다임은 무엇이며, 기하학과 구조를 포착하는 데 어떻게 다른가?
• RQ2 표준 데이터셋에서 분류, 탐지/추적, 세분화 등 주요 작업에서 3D 포인트 구름 방법의 성능은 어떻게 나타나는가?
• RQ3 포인트 구름에서 심층 학습 방법의 벤치마크에 가장 유용한 데이터셋과 평가 지표는 무엇인가?
• RQ4 포인트 구름에 대한 심층 학습의 주요 향후 방향과 해결되지 않은 과제는 무엇인가?

주요 결과

• 본 고찰은 3D 형태 분류, 3D 물체 탐지 및 추적, 그리고 3D 포인트 구름 세분화의 세 가지 주요 작업을 다룬다.
• 여러 공개 데이터셋에 대한 비교 결과를 제공하고 인사이트 및 향후 방향에 대해 논의한다.
• 다양한 데이터 표현(포인트, 메시, RGB-D 등)과 평가 지표(OA, mAcc, AP, mIoU, AMOTA, AMOTP)가 요약된다.
• 이 논문은 다중 뷰 및 체적 방법에서 주로 포인트 기반 접근으로의 진화를 강조하고, PointNet/PointNet++ 및 그래프/합성곱 프레임워크를 기반으로 한 수많은 구조를 다룬다.
• 최첨단 결과를 지속적으로 업데이트하는 프로젝트 페이지가 제공된다 (GitHub 프로젝트: SoTA-Point-Cloud).