[논문 리뷰] Are We Hungry for 3D LiDAR Data for Semantic Segmentation

Biao Gao, Yancheng Pan외 3명|arXiv (Cornell University)|2020. 06. 08.

Advanced Neural Network Applications참고 문헌 112인용 수 7

한 줄 요약

이 종합 검토는 3D LiDAR 세분화에서 데이터가 많이 필요한 문제를 조사하며, 제한된 레이블이 부여된 데이터가 모델 성능에 미치는 영향을 분석한다. 기존 데이터셋과 방법을 검토하고, 실험을 통해 데이터 부족의 영향을 평가하며, 도메인 특화 및 일반 목적 접근 방식의 해결책을 통합하여 3D 인식의 데이터 효율성 향상에 대한 향후 연구에 통찰을 제공한다.

ABSTRACT

3D LiDAR semantic segmentation is a pivotal task that is widely involved in many applications, such as autonomous driving and robotics. Studies of 3D LiDAR semantic segmentation have recently achieved considerable development, especially in terms of deep learning strategies. However, these studies usually rely heavily on considerable fine annotated data, while point-wise 3D LiDAR datasets are extremely insufficient and expensive to label. The performance limitation caused by the lack of training data is called the data hungry effect. This survey aims to explore whether and how we are hungry for 3D LiDAR data for semantic segmentation. Thus, we first provide an organized review of existing 3D datasets and 3D semantic segmentation methods. Then, we provide an in-depth analysis of three representative datasets and several experiments to evaluate the data hungry effects in different aspects. Efforts to solve data hungry problems are summarized for both 3D LiDAR-focused methods and general-purpose methods. Finally, insightful topics are discussed for future research on data hungry problems and open questions.

연구 동기 및 목표

• 충분한 3D LiDAR 레이블이 부여된 데이터가 부족할 경우 세분화 성능이 제한되는지 여부와 그 방식을 조사하는 것.
• 기존 3D LiDAR 데이터셋과 최신 세분화 방법에 대한 종합적인 검토를 제공하는 것.
• 다양한 데이터셋과 모델 아키텍처에서 데이터가 많이 필요한 영향을 경험적으로 평가하는 것.
• 3D LiDAR 세분화에서 데이터 부족을 완화하는 데 기여하는 기존 기법들을 요약하고 분류하는 것.
• 데이터 효율적인 3D 인식을 위한 열린 연구 질문과 향후 방향을 규명하는 것.

제안 방법

• 분석 기반을 마련하기 위해 3D LiDAR 데이터셋과 세분화 방법을 체계적으로 검토하는 것.
• 세 가지 대표적인 데이터셋에서 다양한 데이터 규모 하에서 성능 저하를 평가하기 위해 심층 실험을 수행하는 것.
• 학습 데이터 크기가 감소함에 따라 모델 정확도를 측정하는 추론 실험을 통해 데이터가 많이 필요한 영향을 분석하는 것.
• 기존의 데이터 효율적 기법들을 3D LiDAR 전용 및 일반 목적 접근 방식으로 분류하고 요약하는 것.
• 자기 지율 학습, 데이터 증강, 약한 지율 학습 기법들을 3D 세분화 맥락에서 평가하는 것.
• 경험적 결과에서 도출된 통찰을 종합하여 레이블 부여 의존도를 줄이는 데 효과적인 전략을 강조하는 것.

실험 결과

연구 질문

• RQ1 3D LiDAR 세분화 모델의 성능이 얼마나 떨어지나, 학습 데이터가 제한되었을 경우?
• RQ2 대규모 레이블이 부여된 3D LiDAR 데이터가 필요한 것을 줄이는데 가장 효과적인 데이터 효율적 기법은 무엇인가?
• RQ3 다양한 3D LiDAR 데이터셋은 낮은 데이터 환경에서 데이터 효율성과 모델 일반화 능력 측면에서 어떻게 비교되는가?
• RQ4 현재의 데이터 효율적 기법들이 3D 세분화에서 겪는 주요 한계는 무엇인가?
• RQ5 3D 인식에서 데이터가 많이 필요한 문제를 해결하기 위해 아직 남아 있는 열린 연구 질문은 무엇인가?

주요 결과

• 3D LiDAR 세분화에서 데이터가 많이 필요한 영향은 뚜렷하며, 학습 데이터가 부족할 경우 모델 성능이 심하게 저하된다.
• 세 가지 대표적인 데이터셋에서의 실험 결과, 일정 기준 이상의 데이터를 초과하면 성능 향상 폭이 급격히 줄어들며, 이는 데이터 증가에 따른 수익 감소를 시사한다.
• 자기 지율 학습 및 약한 지율 학습 기법은 경쟁력 있는 정확도를 유지하면서도 레이블 부여 의존도를 줄이는 데 유망한 성과를 보였다.
• 데이터 증강 및 커리큘럼 학습 전략은 특히 사전 학습과 조합했을 때 낮은 데이터 조건에서의 일반화 능력을 향상시켰다.
• 기하학적 사전 지식이나 희소성 같은 특성을 활용하는 도메인 특화 데이터 효율적 기법은 낮은 데이터 환경에서 일반 목적 기반 모델보다 뛰어난 성능을 보였다.
• 진전이 있었음에도 불구하고, 특히 3D 환경에서 드물게 발생하는 클래스에 대해선 여전히 데이터 효율성의 큰 격차가 존재한다.