[논문 리뷰] End-to-End 3D-PointCloud Semantic Segmentation for Autonomous Driving

Mohammed Abdou, Mahmoud Elkhateeb외 2명|arXiv (Cornell University)|2019. 06. 26.

3D Shape Modeling and Analysis참고 문헌 22인용 수 4

한 줄 요약

이 논문은 자율주행 응용 분야에서 3D 포인트 클라우드 세분화의 클래스 불균형 문제를 해결하기 위해 가중치를 적용한 자기적립형 전이 학습(Weighted Self-Incremental Transfer Learning)을 제안한다. 비우세 클래스에 먼저 초점을 맞춘 클래스 가중 손실 함수와 점진적 학습을 조합함으로써, 보행자 및 자전거 기사와 같은 희귀 클래스의 세분화 성능을 크게 향상시켰으며, 기준 모델인 PointNet++ 대비 KITTI 벤치마크에서 전체 평균 IoU가 39.2% 향상되었다.

ABSTRACT

3D semantic scene labeling is a fundamental task for Autonomous Driving. Recent work shows the capability of Deep Neural Networks in labeling 3D point sets provided by sensors like LiDAR, and Radar. Imbalanced distribution of classes in the dataset is one of the challenges that face 3D semantic scene labeling task. This leads to misclassifying for the non-dominant classes which suffer from two main problems: a) rare appearance in the dataset, and b) few sensor points reflected from one object of these classes. This paper proposes a Weighted Self-Incremental Transfer Learning as a generalized methodology that solves the imbalanced training dataset problems. It re-weights the components of the loss function computed from individual classes based on their frequencies in the training dataset, and applies Self-Incremental Transfer Learning by running the Neural Network model on non-dominant classes first, then dominant classes one-by-one are added. The experimental results introduce a new 3D point cloud semantic segmentation benchmark for KITTI dataset.

연구 동기 및 목표

• 3D 포인트 클라우드 데이터셋에서의 클래스 불균형 문제, 특히 자율주행 응용 분야에서의 과제를 해결한다.
• 보행자 및 자전거 기사와 같은 희귀이고 세밀한 클래스를 정확히 세분화하지 못하는 기존 방법의 한계를 극복한다.
• 점진적 학습 중 치명적인 기억 상실을 방지하고 일반화 능력을 향상시키는 종합적인 엔드 투 엔드 딥 러닝 방법론을 개발한다.
• 제안된 방법론을 사용하여 KITTI 데이터셋에서 3D 세분화의 새로운 벤치마크를 수립한다.

제안 방법

• 데이터셋 내 클래스 빈도 및 포인트 밀도를 기반으로 하위 클래스에 더 높은 손실을 적용하는 가중치가 부여된 교차 엔트로피 손실 함수를 적용한다.
• 비우세이자 세밀한 클래스(예: 보행자, 자전거 기사)부터 먼저 학습하고, 점차로 우세한 클래스(예: 자동차, 트럭)를 추가하는 자기적립형 전이 학습 전략을 구현한다.
• 이전 단계에서의 사전 학습 모델을 후속 학습 단계의 초기화로 사용하여 지식 유지를 보장하고 기억 상실을 방지한다.
• 두 가지 요소를 기반으로 클래스 가중치를 계산한다: (1) 클래스당 데이터셋 인스턴스 수, (2) 클래스당 LiDAR 반사 포인트 수.
• 외부 사전 학습 모델에 의존하지 않고, 가중치 손실과 점진적 클래스 추가 절차를 결합하여 PointNet++ 백본을 학습한다.
• 모든 클래스의 평균 교차율(Intersection over Union, mIoU)을 사용하여 성능을 평가하며, 가중치 손실만, 자기적립형만, 전체 방법론을 비교하는 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 희소 LiDAR 포인트 클라우드의 3D 세분화에서 가중치 손실 함수만으로 클래스 불균형 문제를 효과적으로 완화할 수 있는가?
• RQ2 자기적립형 전이 학습 전략만으로도 불균형 데이터셋에서 희귀 클래스의 세분화 성능을 향상시키면서 치명적인 기억 상실을 방지할 수 있는가?
• RQ3 가중치 손실와 비우세 클래스에 대한 점진적 학습을 조합함으로써 보행자 및 자전거 기사와 같은 세밀한 클래스의 mIoU를 크게 향상시킬 수 있는가?
• RQ4 제안된 방법론은 다양한 클래스 유형에 대해 일반화 가능하며, KITTI와 같은 실제 자율주행 데이터셋에서 안정성을 유지하는가?

주요 결과

• 기준 모델인 PointNet++는 보행자 및 자전거 기사 클래스를 분류하지 못하며, KITTI 데이터셋에서 이들의 mIoU가 거의 0에 수렴한다.
• 가중치 손실 함수만을 사용할 경우 불균형 문제를 해결하지 못하며, 표현 학습이 부족해 희귀 클래스가 여전히 잘못 분류된다.
• 자기적립형 전이 학습 전략만을 사용할 경우 치명적인 기억 상실이 발생하여, 자동차와 같은 신규 우세 클래스를 추가할 때 이전에 학습한 클래스(예: 보행자, 자전거 기사)의 정확도가 떨어진다.
• 제안된 가중치를 적용한 자기적립형 전이 학습 방법론은 자동차 클래스에 대해 기준 모델 대비 6.71% 향상된 mIoU를 기록했으며, 밴 클래스는 11.17% 향상되었다.
• 이전에는 분류되지 않았던 보행자 및 자전거 기사 클래스는 각각 15.33% 및 22.96%의 mIoU 점수를 확보하였다.
• 전체 평균 IoU는 기준 모델 대비 39.2% 향상되어, 이는 클래스 불균형 문제를 효과적으로 다루고 안정적이며 일반화 가능한 3D 세분화를 가능하게 함을 보여준다.