[논문 리뷰] SensatUrban: Learning Semantics from Urban-Scale Photogrammetric Point Clouds

Qingyong Hu, Bo Yang외 4명|arXiv (Cornell University)|2022. 01. 12.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

SensatUrban은 영국의 세 도시를 아우르는 7.6km²에 달하는 대규모 도시 스케일 항공사진 촬영 점군 데이터셋을 제공하며, 약 30억 개의 점이 13개의 의미적 카테고리로 레이블링되어 있다. 이 데이터셋은 최신 3D 의미 분할 모델의 벤치마킹을 가능하게 하며, 확장성, 클래스 불균형, 일반화 능력 등의 핵심 과제를 드러내며, 대규모 도시 환경에서의 자기지도 학습 전훈의 효과성을 입증한다.

ABSTRACT

With the recent availability and affordability of commercial depth sensors and 3D scanners, an increasing number of 3D (i.e., RGBD, point cloud) datasets have been publicized to facilitate research in 3D computer vision. However, existing datasets either cover relatively small areas or have limited semantic annotations. Fine-grained understanding of urban-scale 3D scenes is still in its infancy. In this paper, we introduce SensatUrban, an urban-scale UAV photogrammetry point cloud dataset consisting of nearly three billion points collected from three UK cities, covering 7.6 km^2. Each point in the dataset has been labelled with fine-grained semantic annotations, resulting in a dataset that is three times the size of the previous existing largest photogrammetric point cloud dataset. In addition to the more commonly encountered categories such as road and vegetation, urban-level categories including rail, bridge, and river are also included in our dataset. Based on this dataset, we further build a benchmark to evaluate the performance of state-of-the-art segmentation algorithms. In particular, we provide a comprehensive analysis and identify several key challenges limiting urban-scale point cloud understanding. The dataset is available at http://point-cloud-analysis.cs.ox.ac.uk.

연구 동기 및 목표

• 세부적인 도시 환경 이해를 위한 대규모, 고품질, 사진과 유사한 3D 점군 데이터셋의 부족을 해결하기 위해.
• 도시 스케일 데이터에서 최신 3D 의미 분할 모델의 평가를 가능하게 하기 위해.
• 거대한 점군에서의 데이터 전처리, 클래스 불균형, 모델 일반화 등의 과제를 조사하기 위해.
• 자기지도 학습 및 준지도 학습 전훈이 도시 스케일 점군에 대해 실현 가능성과 영향을 탐색하기 위해.
• 향후 3D 컴퓨터 시각, 원격 감지, 도시 3D 모델링 분야의 연구를 위한 기준을 제공하기 위해.

제안 방법

• UAV 기반 사진측량 기법을 사용하여 영국의 세 도시인 버밍엄, 캐번드리지, 요크에서 고상호성의 항공 이미지를 촬영하였다.
• 사진측량 기법을 활용해 이러한 이미지에서 밀도 높고 색상이 부여된 3D 점군을 복원하였으며, 기하학적 정보와 외관 정보가 풍부하다.
• 버밍엄과 캐번드리지 데이터셋의 각 점은 도로, 식생, 철도, 다리, 강 등 총 13개의 의미적 카테고리 중 하나로 수동으로 레이블링되었다.
• 요크 데이터셋은 향후 준지도 학습 및 자기지도 학습 연구를 지원하기 위해 레이블이 부여되지 않았다.
• 세 가지 기준 네트워크(PointNet, PCN, DGCNN)를 사용하여 종합적인 벤치마크를 수립하였으며, 세 가지 학습 제도(사전 훈련 모델에서 미세조정, 차폐 복원을 통한 전훈, 초기 학습에서부터의 학습)에서 평가하였다.
• 실험을 통해 자기지도 학습 목표(예: 조각 맞추기 예측, 차폐 복원)를 통한 전훈이 성능에 미치는 영향을 평가하였으며, 특히 철도 및 다리와 같은 소수 클래스에서의 성능 향상을 분석하였다.

실험 결과

연구 질문

• RQ1 기존의 3D 의미 분할을 위한 딥러닝 모델은 7.6km², 30억 개 이상의 점을 포함한 도시 스케일 점군에 효과적으로 일반화될 수 있는가?
• RQ2 객체 수준 데이터(예: ModelNet40)에서의 자기지도 학습 전훈이 대규모 도시 점군에서의 성능 향상에 기여하는가?
• RQ3 색상 및 외관 정보의 포함이 도시 환경에서의 의미 분할 성능에 얼마나 기여하는가?
• RQ4 지면 및 식생이 철도 및 물의 카테고리보다 압도적으로 많은 극심한 클래스 불균형이 모델 성능과 일반화 능력에 미치는 영향은 어느 정도인가?
• RQ5 약한 지도 학습 또는 준지도 학습 기법을 활용해 레이블이 없는 요크 점군 데이터를 효과적으로 활용하여 분할 성능을 향상시킬 수 있는가?

주요 결과

• SensatUrban 데이터셋은 이전까지 가장 큰 사진측량 점군 데이터셋보다 세 배 이상 크며, 7.6km²를 커버하고 약 30억 개의 레이블링된 점을 포함하고 있다.
• 객체 수준 데이터(예: ModelNet40)에서의 전훈 후 SensatUrban에서의 미세조정은 소수 클래스인 철도 및 다리와 같은 카테고리에서 특히 높은 성능 향상을 이끌어내었으며, 최대 약 10%의 성능 향상이 관찰되었다.
• 차폐 복원 및 조각 맞추기 예측과 같은 자기지도 학습 전훈 목표의 사용은 주로 지배적인 클래스에 대한 과적합을 줄이고 희귀 카테고리에서의 강건성을 향상시켰다.
• 벤치마크 결과는 데이터 준비, 클래스 불균형 처리, 모델 일반화 등이 도시 스케일 환경에서 3D 의미 분할을 확장하는 데 있어 여전히 핵심 과제로 남아 있음을 시사한다.
• 점군에 색상 및 외관 정보를 포함시킴으로써 의미 이해에 유리한 영향을 미쳤으며, 그 전반적인 영향은 향후 추가 연구가 필요하다.
• 레이블이 없는 요크 점군 데이터셋의 공개는 향후 대규모 도시 점군에서의 준지도 학습 및 자기지도 학습 연구를 가능하게 한다.