[논문 리뷰] Deep Learning Based 3D Segmentation: A Survey

Yong He, Hongshan Yu외 5명|arXiv (Cornell University)|2021. 03. 09.

3D Shape Modeling and Analysis참고 문헌 172인용 수 44

한 줄 요약

본 고찰은 RGB-D, 투영 이미지, 보셀, 포인트 클라우드, 메쉬, 3D 비디오를 포함한 모든 데이터 모달리티에 걸친 3D 분할에 대한 딥러닝 방법을 포괄적으로 검토하고, 아키텍처, 데이터셋 및 향후 방향을 분석한다.

ABSTRACT

3D segmentation is a fundamental and challenging problem in computer vision with applications in autonomous driving and robotics. It has received significant attention from the computer vision, graphics and machine learning communities. Conventional methods for 3D segmentation, based on hand-crafted features and machine learning classifiers, lack generalization ability. Driven by their success in 2D computer vision, deep learning techniques have recently become the tool of choice for 3D segmentation tasks. This has led to an influx of many methods in the literature that have been evaluated on different benchmark datasets. Whereas survey papers on RGB-D and point cloud segmentation exist, there is a lack of a recent in-depth survey that covers all 3D data modalities and application domains. This paper fills the gap and comprehensively surveys the recent progress in deep learning-based 3D segmentation techniques. We cover over 220 works from the last six years, analyze their strengths and limitations, and discuss their competitive results on benchmark datasets. The survey provides a summary of the most commonly used pipelines and finally highlights promising research directions for the future.

연구 동기 및 목표

• RGB-D, 투영 이미지, 보셀, 포인트 클라우드, 메쉬, 3D 비디오를 포함한 모든 3D 데이터 모달리티에 걸친 3D 분할을 위한 딥러닝 기법에 대한 통일된 개요를 제공한다.
• 3D 분할에 사용되는 일반적인 빌딩 블록, 컨볼루션 커널 및 아키텍처를 분석하고 그 강점과 한계에 대해 논의한다.
• 벤치마크 데이터셋과 평가 지표를 요약하여 방법 간 공정한 비교를 가능하게 한다.
• 현재의 도전과제를 식별하고 3D 분할의 미래 연구를 위한 유망한 방향을 제안한다.

제안 방법

• 지난 5년간 3D 분할을 위한 딥러닝에 초점을 맞춘 대표적인 연구 180편 이상을 조사한다.
• 데이터 표현 및 네트워크 아키텍처(RGB-D, 투영 이미지, 보셀, 포인트 기반, 3D 비디오 등)에 따라 방법을 분석하고 분류한다.
• 데이터 인코딩, 융합 전략, 포스트 프로세싱 단계(CRFs, GNNs, 트랜스포머 등)를 포함한 일반적인 분할 파이프라인을 논의한다.
• 일반적인 3D 분할 데이터셋에 대한 벤치마크 비교를 제공하고 접근법의 강점/약점을 통합한다.
• 3D 분할의 열린 과제와 향후 연구 방향을 강조한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 표현(RGB-D, 보셀, 포인트 클라우드, 메쉬, 3D 비디오)에서 3D 분할 방법의 상대적 장점과 한계는 무엇인가?
• RQ2 일반적인 아키텍처 선택(예: MLP/PointNet 계열, 그래프 네트, 트랜스포머)이 3D 분할의 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 현실 세계의 성능을 가장 잘 반영하는 데이터셋과 평가 지표는 무엇이며, 이 벤치마크에서 방법들은 어떻게 비교되는가?
• RQ4 딥러닝 기반 3D 분할의 주요 열린 도전과제와 향후 연구의 유망한 방향은 무엇인가?

주요 결과

• 본 고찰은 지난 5년간 180편이 넘는 연구를 다루고 그 강점과 한계를 분석한다.
• 모든 주요 3D 데이터 모달리티에 걸친 3D 분할 방법의 포괄적 비교를 제공한다.
• 본 논문은 데이터 표현, 융합 전략 및 포스트 프로세싱 기법을 포함한 일반적인 분할 파이프라인을 논의한다.
• 향후 연구 방향과 벤치마킹 및 평가를 위한 실용적 고려사항을 제시한다.