[논문 리뷰] Large-scale 3D building and tree datasets constructed from airborne LiDAR point clouds in Glasgow, UK

LI, Qiaosi, Zhao, Qunshan외 6명|arXiv (Cornell University)|2021. 01. 01.

3D Shape Modeling and Analysis참고 문헌 1인용 수 7

한 줄 요약

이 논문은 0.1%의 무작위로 레이블이 지정된 점들만을 사용하여 최신 기술 수준의 성능을 달성하는 약한 감독 기반 3D 세분화 방법인 의미적 쿼리 네트워크(SQN)를 제안한다. 쿼리 기반 잠재 표현 기반으로 국소적 이웃의 의미적 동질성을 활용함으로써 SQN은 레이블링 비용을 크게 줄이며, S3DIS, ScanNet, SemanticKITTI와 같은 대규모 데이터셋에서 완전 감독 기반 기준선을 능가한다. SemanticKITTI에서 1.05M 파라미터로 55.9%의 mIoU를 달성한다.

ABSTRACT

IMPORTANT NOTE: The building data in this version (Version V1) is the legacy version. We suggest using the building footprint, lod1, and lod2 data of Version v4 (https://zenodo.org/records/15000747). The tree canopy and terrain data are the most updated in this version (Version V1). Urban Big Data Centre of the University of Glasgow generates 3D city models via the airborne LiDAR point clouds acquired between 2020-2021 on behalf of Glasgow City Council. It is a large-scale 3D city model containing 3D information on terrain, trees, and buildings in Glasgow City. This dataset comprises terrain, tree canopy, and building products derived from high-density airborne LiDAR point clouds. The terrain products include Digital Terrain Model (DTM), Digital Surface Model (DSM), and normalized Digital Surface Model (nDSM) in 0.5 m spatial resolution. The DTM and DSM rasters were provided by the vendor and nDSM rasters were obtained by subtracting DTM from DSM. Terrain products are provided in 5 km by 5 km GeoTIF format raster. The tree canopy products are composed of canopy height models (CHM) and tree top locations. Classified tree point clouds were applied with pit-free algorithm to generate CHM in 0.5 m grid raster in GeoTIF format [1]-[2]. Treetop locations were identified by using Local Maximum Filter based on CHM and are recorded as points in Shapefile format. The tree canopy products are provided in 5 km by 5 km tiles. Building 3D model products include footprint polygons with building height attributes and 3D mesh of building models in LoD1 and LoD2 levels. A series of processes such as converting building point clouds to building height models (BHM), converting BHM to polygons, and polygon regularization were conducted to obtain the building footprint polygons. Building height attributes were calculated from BHM for each footprint. The building footprint data are provided in Shapefile format. LoD1 models were generated based on the footprint and average height of the building. LoD2 models were constructed based on footprint and building point cloud with City3D tool[3]. LoD1 and LoD2 models are provided in OBJ and shapefile format. Building 3D model products are provided in 5 km by 5 km tiles. The RMSE of Euclidean distances between each point in the point cloud to the reconstructed model was calculated to evaluate the LoD2 model construction. A table of RMSE and a note for a few problematic models are provided.

연구 동기 및 목표

• 완전 감독 기반 3D 세분화 모델이 극적으로 감소된 레이블링 예산 하에서 어떻게 성능이 떨어지는지 조사하기 위해.
• 특히 도시 규모의 시나리오에서 전체 레이블링이 높은 비용이 되고 실현 가능성이 떨어지는 문제를 해결하기 위해.
• 3D 포인트 클라우드의 국소적 의미적 동질성을 효과적으로 활용하여 최소한의 감독으로 성능을 향상시키는 약한 감독 방법을 개발하기 위해.
• 복잡한 다단계 파이프라인을 피하고 실세계 적용에 적합한 경량이며 엔드 투 엔드로 훈련 가능한 모델을 만들기 위해.

제안 방법

• SQN은 사전 훈련된 특징 추출기를 사용하여 전체 원시 포인트 클라우드를 계층적인 잠재 표현으로 인코딩한다.
• 임의의 3D 포인트를 입력으로 받아 국소 이웃의 일부 잠재 표현을 쿼리한다.
• 쿼리된 표현들은 학습 가능한 집약 모듈을 통해 압축된 벡터로 요약된다.
• 이 압축된 벡터는 다층 퍼셉트론(MLP)을 통과하여 최종 의미적 레이블을 예측한다.
• 모델은 국소적 의미적 유사성을 명시적으로 모델링함으로써 이웃의 구조에 집중함으로써 희소 레이블에서 특징 학습을 향상시킨다.
• 복잡한 데이터 증강 또는 자기지도 학습 전처리 단계 없이, 랜덤으로 선택된 0.1%의 포인트 레이블만으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 기존의 완전 감독 기반 3D 세분화 모델이 랜덤으로 레이블이 지정된 1%의 포인트만으로 훈련될 경우 성능이 어떻게 저하되는가?
• RQ2 성능 저하가 심각하게 발생하는 기준점이 되는(annotation ratio) 0.1% 수준은 어디인가?
• RQ3 3D 포인트 클라우드의 국소 이웃에서 의미적 동질성을 효과적으로 활용하여 극도로 낮은 레이블 수요 상황에서 세분화 성능을 향상시킬 수 있는가?
• RQ4 간단한 엔드 투 엔드 모델이 최소한의 레이블로 복잡한 다단계 약한 감독 파이프라인을 능가할 수 있는가?
• RQ5 오직 0.1%의 레이블된 포인트만으로도 경쟁 가능한 성능을 달성하면서도 모델의 효율성과 실세계 적용 가능성 유지를 할 수 있는가?

주요 결과

• SQN은 0.1%의 레이블된 포인트만을 사용하여 SemanticKITTI 데이터셋에서 55.9%의 mIoU를 달성하며, 여러 완전 감독 기반 기준선을 능가한다.
• S3DIS 데이터셋에서 0.1% 레이블링으로 훈련된 SQN은 완전 감독 기반 RandLA-Net과 비교해 유사하거나 더 높은 세분화 정확도를 달성한다.
• SQN은 레이블링 비용을 최소화하면서도 뿌리가 1.05M 개의 학습 가능한 파라미터로 50.8%의 mIoU를 달성하여 높은 효율성과 실세계 적용 가능성의 잠재력을 보여준다.
• 1% 이하의 레이블링 비율에서 성능 저하가 급격히 발생함을 확인하여, 0.1%가 약한 감독 기반의 전환점임을 시사한다.
• 동일한 0.1% 레이블링 예산 하에서 SQN은 모든 일곱 개인 대규모 벤치마크 데이터셋에서 다른 약한 감독 기반 방법들을 능가한다.
• 제거 실험 결과 국소 이웃 쿼리 및 의미적 동질성 모델링이 이론의 성공에 핵심 요소임을 확인하였으며, 이들 구성 요소를 제거할 경우 성능이 급격히 저하됨을 확인했다.