[논문 리뷰] SemanticPOSS: A Point Cloud Dataset with Large Quantity of Dynamic Instances

Yancheng Pan, Biao Gao외 4명|arXiv (Cornell University)|2020. 02. 21.

3D Shape Modeling and Analysis참고 문헌 24인용 수 15

한 줄 요약

이 논문은 범위가 넓고 동적 객체가 풍부한 2,988개의 스캔을 포함하는 대규모 LiDAR 포인트 클라우드 데이터셋인 SemanticPOSS를 소개한다. 이 데이터셋은 보행자와 차량과 같은 동적 객체를 중심으로 14개 클래스에 대해 포인트 수준 및 인스턴스 수준의 레이블을 제공한다. 베이징 대학교 캠퍼스에서 수집된 데이터셋은 기존의 SemanticKITTI와 비교해 동적 객체의 밀도가 높고 다양한 실외 환경을 포함함으로써, 특히 보행자와 차량의 세분화 정확도를 향상시키는 데 기여한다.

ABSTRACT

3D semantic segmentation is one of the key tasks for autonomous driving system. Recently, deep learning models for 3D semantic segmentation task have been widely researched, but they usually require large amounts of training data. However, the present datasets for 3D semantic segmentation are lack of point-wise annotation, diversiform scenes and dynamic objects. In this paper, we propose the SemanticPOSS dataset, which contains 2988 various and complicated LiDAR scans with large quantity of dynamic instances. The data is collected in Peking University and uses the same data format as SemanticKITTI. In addition, we evaluate several typical 3D semantic segmentation models on our SemanticPOSS dataset. Experimental results show that SemanticPOSS can help to improve the prediction accuracy of dynamic objects as people, car in some degree. SemanticPOSS will be published at \url{www.poss.pku.edu.cn}.

연구 동기 및 목표

• 동적 객체에 대해 포인트 수준 및 인스턴스 수준의 레이블이 있는 대규모이고 다양한 3D 포인트 클라우드 데이터셋의 부족을 해결하기 위해.
• 기존의 3D 세분화 데이터셋에서의 장면 선택 편향과 동적 객체 표현의 제한을 완화하기 위해.
• 딥 러닝 모델의 동적 객체(예: 보행자, 차량)에 대한 일반화 능력과 성능 향상을 위해.
• SemanticKITTI와 호환되는 새로운 벤치마크 데이터셋을 제공하여 모델 훈련 및 평가를 원활하게 하기 위해.

제안 방법

• LiDAR 센서를 사용해 베이징 대학교 캠퍼스에서 데이터를 수집하여, 높은 동적 객체 밀도를 가진 복잡한 실제 외부 환경을 촬영했다.
• 각 스캔은 보행자, 자전거 탑승자, 차량 등 14개 클래스에 대해 포인트 수준의 의미적 레이블과 인스턴스 수준의 식별자를 포함한다.
• 데이터 포맷과 인터페이스는 SemanticKITTI와 호환되도록 설계되어, 모델 훈련에 필요한 재처리 최소화를 보장한다.
• SemanticPOSS와 SemanticKITTI 양쪽에서 PointNet++ 및 SqueezeSegV2와 같은 베이스라인 모델을 평가하여 성능를 비교했다.
• 모델의 강건성과 훈련 데이터의 다양성 영향을 평가하기 위해 교차 데이터셋 일반화 실험을 수행했다.
• 전체 2,988개의 스캔에 걸쳐 2억 1,600만 개의 포인트를 포함하며, 프레임당 평균 8.29명의 보행자와 15.02대의 차량을 포함하여 SemanticKITTI보다 훨씬 높은 동적 객체 밀도를 보인다.

실험 결과

연구 질문

• RQ1 풍부한 동적 인스턴스를 포함한 대규모 3D 포인트 클라우드 데이터셋이 딥 러닝 모델의 동적 객체 세분화 성능 향상에 기여할 수 있는가?
• RQ2 3D 데이터셋의 장면 다양성이 3D 세분화 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 높은 동적 객체 밀도를 가진 데이터셋에서 훈련하면 보행자 및 차량 클래스의 IoU가 얼마나 향상되는가?
• RQ4 SemanticPOSS에서 훈련한 모델의 성능가 다른 데이터셋(예: SemanticKITTI)으로 일반화되는 정도는 어떠한가?

주요 결과

• SemanticPOSS에서 테스트할 경우, PN-KITTI의 IoU가 0.007에서 PN-POSS로 0.208로 상승하여 동적 객체 탐지 성능 향상이 뚜렷하게 나타났다.
• SemanticPOSS에서 훈련한 PointNet++의 mIoU(0.201)는 SemanticKITTI에서 훈련한 동일한 모델의 mIoU(0.164)보다 높게 나타나, 동적 인스턴스에 대한 일반화 능력 향상이 확인되었다.
• 교차 데이터셋 평가 결과, 강한 장면 선택 편향이 드러났다: 한 데이터셋에서 훈련한 모델이 다른 데이터셋에서 테스트할 경우 mIoU가 크게 감소하여, 다양한 훈련 데이터의 필요성을 시사했다.
• SemanticPOSS에서 훈련한 모델는 SemanticKITTI에서 테스트해도 보행자, 차량 등의 동적 객체에서 뛰어난 성능을 보였으며, 이는 동적 객체의 수가 모델의 강건성 향상에 기여함을 시사한다.
• SemanticPOSS는 프레임당 평균 8.29명의 보행자와 15.02대의 차량을 포함하며, 이는 SemanticKITTI의 0.63명과 10.09대보다 훨씬 높아 동적 콘텐츠에 대한 강조가 뚜렷하다.
• SemanticKITTI와의 호환성 덕분에 연구자들이 모델를 직접 이식하고 데이터 전처리 오버헤드를 줄일 수 있다.