[논문 리뷰] Are We Hungry for 3D LiDAR Data for Semantic Segmentation? A Survey and Experimental Study

Biao Gao, Yancheng Pan외 3명|arXiv (Cornell University)|2020. 06. 08.

Advanced Neural Network Applications참고 문헌 220인용 수 4

한 줄 요약

이 논문은 3D LiDAR 세분화에서의 데이터 수요 문제를 조사하며, S3DIS, Semantic3D, SemanticKITTI에서의 데이터셋 크기, 다양성, 도메인 갭을 분석한다. 장기적인 분포, 제한된 시점 다양성, 심각한 도메인 갭이 모델의 일반화를 저해함을 발견하고, 자동화 시스템에서 지속적인 데이터 부족 문제를 해결하기 위해 개선된 데이터 메트릭, 도메인 인지 훈련, 표준화된 카테고리 정의를 촉구한다.

ABSTRACT

3D semantic segmentation is a fundamental task for robotic and autonomous driving applications. Recent works have been focused on using deep learning techniques, whereas developing fine-annotated 3D LiDAR datasets is extremely labor intensive and requires professional skills. The performance limitation caused by insufficient datasets is called data hunger problem. This research provides a comprehensive survey and experimental study on the question: are we hungry for 3D LiDAR data for semantic segmentation? The studies are conducted at three levels. First, a broad review to the main 3D LiDAR datasets is conducted, followed by a statistical analysis on three representative datasets to gain an in-depth view on the datasets' size and diversity, which are the critical factors in learning deep models. Second, a systematic review to the state-of-the-art 3D semantic segmentation is conducted, followed by experiments and cross examinations of three representative deep learning methods to find out how the size and diversity of the datasets affect deep models' performance. Finally, a systematic survey to the existing efforts to solve the data hunger problem is conducted on both methodological and dataset's viewpoints, followed by an insightful discussion of remaining problems and open questions To the best of our knowledge, this is the first work to analyze the data hunger problem for 3D semantic segmentation using deep learning techniques that are addressed in the literature review, statistical analysis, and cross-dataset and cross-algorithm experiments. We share findings and discussions, which may lead to potential topics in future works.

연구 동기 및 목표

• 3D LiDAR 세분화를 위한 딥러닝 모델이 훈련 데이터가 부족하거나 불균형할 경우 데이터 수요 문제를 겪는지 조사하기.
• 통계 분석을 통해 주요 3D LiDAR 데이터셋(S3DIS, Semantic3D, SemanticKITTI)의 크기, 다양성, 분포 특성을 분석하기.
• 최신 딥러닝 모델의 성능에 데이터셋 크기와 다양성이 미치는 영향을 평가하기.
• 데이터 수요 문제에 대한 기존의 방법론적 및 데이터셋 수준의 해결책을 조사하고 향후 연구를 위한 열린 과제를 규명하기.
• 실제 운영 환경에서의 강건성 향상을 위해 표준화된 카테고리 정의, 도메인 갭 메트릭, 불확실성 인식 모델을 주장하기.

제안 방법

• 데이터셋 크기, 클래스 분포, 시점 다양성에 중점을 두고 3D LiDAR 데이터셋에 대한 종합적 설문 조사 수행.
• 장기적인 클래스 분포와 공간적 불균형을 정량화하기 위해 세 가지 대표적 데이터셋(S3DIS, Semantic3D, SemanticKITTI)에 대한 통계 분석 수행.
• 데이터 부족 상황에서의 일반화 능력을 평가하기 위해 세 가지 최신 딥러닝 모델(PointNet++, PointConv, Point-NeXt)을 선택해 다중 데이터셋 간 훈련 및 테스트 수행.
• 한 데이터셋에서 훈련하고 다른 데이터셋에서 테스트하는 실험을 통해 도메인 갭 영향을 평가.
• 데이터 증강, 자기지도 학습, 도메인 적응과 같은 방법론적 접근과 데이터셋 정제 전략을 조사.
• 정량적 도메인 갭 메트릭과 표준화된 카테고리 정의의 필요성을 제안하여 신뢰할 수 있는 모델 평가 및 데이터셋 공유를 가능하게 한다.

실험 결과

연구 질문

• RQ1 현재 3D LiDAR 데이터셋이 모델 일반화를 저해하는 장기적인 클래스 분포와 공간적 불균형을 얼마나 심각하게 보이고 있는가?
• RQ2 데이터셋 내외의 시점 다양성이 3D 세분화에서 딥러닝 모델의 성능과 강건성에 어떤 영향을 미치는가?
• RQ3 데이터셋 간 도메인 갭이 모델 일반화에 어떤 영향을 미치며, 데이터셋을 혼합하면 성능 향상이 이루어지는가?
• RQ4 데이터 수요 문제를 완화하기 위해 현재 사용 가능한 방법론적 및 데이터셋 수준의 전략은 무엇이며, 각각의 한계는 무엇인가?
• RQ5 실제 응용에서 강력한 세분화를 위한 표준화되고 확장 가능하며 다양한 3D LiDAR 데이터셋을 구축하는 데 남아 있는 열린 문제들은 무엇인가?

주요 결과

• 3D LiDAR 데이터셋은 심각한 장기적인 클래스 분포를 보이며, 센서의 시야에 가까운 '도로'와 같은 주요 클래스에 속하는 포인트 비율이 높다.
• 인기 있는 S3DIS, Semantic3D, SemanticKITTI는 내부 데이터셋 다양성이 부족하고 서로 간 큰 차이를 보이며, 이는 모델의 일반화 능력을 제한한다.
• 여러 데이터셋을 혼합해 훈련한다고 해서 성능이 반드시 향상되지 않으며, 이는 데이터셋 간 심각한 도메인 갭 때문이기 때문이다.
• 큰 도메인 갭이 존재하는 데이터셋에서 모델을 테스트하면 성능 저하가 심각하게 발생하여 벤치마크 평가의 신뢰성이 떨어진다.
• 오염, 희소 샘플링, 객체 유형 간 功能 유사성 등의 감각적 및 의미적 갭은 일관된 애너테이션과 일반화에 핵심적인 과제를 제기한다.
• 효과적인 데이터셋 공유와 모델 평가를 가능하게 하기 위해 표준화된 카테고리 정의와 정량적 도메인 갭 메트릭이 절실하게 필요하다.