[논문 리뷰] Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges

Qingyong Hu, Bo Yang외 4명|arXiv (Cornell University)|2020. 09. 07.

Remote Sensing and LiDAR Applications참고 문헌 71인용 수 26

한 줄 요약

이 논문은 영국의 세 도시에서 총 7.6km²에 걸쳐 약 30억 개의 포인트를 포함하는 대규모 도시 3D 포인트 클라우드 데이터셋인 SensatUrban을 소개한다. 이 데이터셋은 의미적 분할 모델의 벤치마킹을 가능하게 한다. 주요 과제로는 스케일링된 데이터 전처리, 클래스 불균형, RGB 색상 정보 활용, 그리고 도시 간 일반화 문제를 규명하였으며, 고급 손실 함수가 희귀 클래스 성능을 향상시키지만 도시 간 일반화 능력은 여전히 심각하게 제한되어 있음을 입증하였다.

ABSTRACT

An essential prerequisite for unleashing the potential of supervised deep learning algorithms in the area of 3D scene understanding is the availability of large-scale and richly annotated datasets. However, publicly available datasets are either in relative small spatial scales or have limited semantic annotations due to the expensive cost of data acquisition and data annotation, which severely limits the development of fine-grained semantic understanding in the context of 3D point clouds. In this paper, we present an urban-scale photogrammetric point cloud dataset with nearly three billion richly annotated points, which is three times the number of labeled points than the existing largest photogrammetric point cloud dataset. Our dataset consists of large areas from three UK cities, covering about 7.6 km^2 of the city landscape. In the dataset, each 3D point is labeled as one of 13 semantic classes. We extensively evaluate the performance of state-of-the-art algorithms on our dataset and provide a comprehensive analysis of the results. In particular, we identify several key challenges towards urban-scale point cloud understanding. The dataset is available at https://github.com/QingyongHu/SensatUrban.

연구 동기 및 목표

• 도시 규모의 의미적 분할을 위한 대규모이고 풍부하게 주석 처리된 3D 포인트 클라우드 데이터셋의 부족을 보완하기 위해.
• 실세계 도시 환경에서 최신 딥러닝 모델을 평가하기 위한 기준을 설정하기 위해.
• 데이터 전처리, 클래스 불균형, 모델 일반화와 같은 도시 규모의 3D 포인트 클라우드 이해에서의 핵심 과제를 규명하고 경험적으로 분석하기 위해.
• 데이터셋의 3.2km² 미주석 영역을 통해 향후 자기지도 및 준지도 학습 연구를 가능하게 하기 위해.
• 고해상도, 사진측량 기반 3D 데이터를 통해 스마트 시티 계획, 디지털 트윈, 자율 주행 기술의 발전을 촉진하기 위해.

제안 방법

• 버밍험, 캐번드리지, 요크에서 항공 사진을 전문급 UAV 지도 제작 시스템을 사용해 촬영하여 사진측량 기반 3D 포인트 클라우드를 생성하였다.
• 버밍험과 캐번드리지의 각 3D 포인트를 13개의 의미 클래스(예: 지면, 식생, 자동차, 건물 등) 중 하나로 수작업 주석 처리하여 약 30억 개의 레이블이 부여된 포인트를 확보하였다.
• 표준 평가 지표인 mIoU 등을 사용해 최신 딥러닝 모델들(예: PointNet, RandLA-Net, KPConv)을 데이터셋에서 평가하였다.
• RGB 색상 정보의 영향을 분석하기 위해 색상 특징을 포함하거나 제외한 모델을 비교하였다.
• 클래스 불균형을 완화하기 위해 다섯 가지 고급 손실 함수인 교차 엔트로피, 가중 교차 엔트로피(역주파수 및 제곱근), Lovász-softmax, 포칼 손실을 적용하였다.
• 버밍험에서 학습하고 캐번드리지에서 테스트하는 방식으로 도시 간 일반화 실험을 수행하여 도시 간 지역에서의 모델 강건성 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 최대 30억 개의 포인트를 포함하는 대규모 도시 3D 포인트 클라우드는 어떻게 효과적으로 전처리하고 분할할 수 있으며, 분류 정확도를 유지하면서 딥러닝에 활용할 수 있는가?
• RQ2 강도 정보만 또는 LiDAR 기반 데이터에 비해 사진측량 기반 포인트 클라우드에서 RGB 색상 정보를 포함시키는 것이 의미적 분할 성능에 얼마나 기여하는가?
• RQ3 지면 및 식생과 같은 주요 클래스가 지배하는 극심한 클래스 불균형이 모델 성능에 미치는 영향은 무엇이며, 기존의 손실 함수가 이를 효과적으로 완화할 수 있는가?
• RQ4 딥러닝 모델이 한 도시 지역(예: 버밍험)에서 학습된 후 다른 도시 지역(예: 캐번드리지)으로 일반화하지 못하는 이유는 무엇이며, 이러한 일반화 갭을 초래하는 요인들은 무엇인가?
• RQ5 스마트 시티 및 디지털 트윈과 같은 실세계 도시 응용 분야에 의미적 분할 모델을 구현할 때의 주요 장애 요인은 무엇인가?

주요 결과

• SensatUrban 데이터셋은 영국의 세 도시에서 총 7.6km²에 걸쳐 약 30억 개의 주석 처리된 3D 포인트를 포함하고 있으며, 이는 이전까지 가장 큰 사진측량 기반 데이터셋보다 세 배 이상 크다.
• RGB 색상 정보의 포함이 분할 성능을 크게 향상시키며, 특히 색상 정보 없이선 잘 인식되지 않는 세부 카테고리인 자전거와 난간과 같은 항목에서 두드러진 성능 향상을 보였다.
• 포칼 손실 및 역제곱근 주파수 가중 교차 엔트로피와 같은 고급 손실 함수는 희귀 클래스의 성능 격차를 줄였으며, mIoU를 최대 5% 향상시키고 자전거 분류 성능을 20% 이상 높였다.
• 고급 손실 함수를 적용함에도 불구하고 자전거와 같은 희귀 카테고리는 여전히 낮은 성능(예: mIoU < 10%)을 보이며, 데이터 불균형 문제가 여전히 해결되지 않은 핵심 과제임을 시사한다.
• 도시 간 일반화 성능은 크게 떨어지며, 버밍험에서 학습한 모델이 캐번드리지에서 테스트될 경우 mIoU가 최대 20% 감소했으며, 특히 형태가 다양하게 변하는 클래스인 난간과 수면에서 두드러졌다.
• 모델의 일반화 실패 원인은 주로 클래스 불균형과 도시 간 다양한 형태의 도시 물체 변동성에 기인하며, 실세계 적용에 있어 중요한 열린 과제임을 강조한다.