[논문 리뷰] Building3D: An Urban-Scale Dataset and Benchmarks for Learning Roof Structures from Point Clouds

Ruisheng Wang, Shangfeng Huang외 1명|arXiv (Cornell University)|2023. 07. 21.

Remote Sensing and LiDAR ApplicationsEnvironmental Science인용 수 3

한 줄 요약

이 논문은 에스토니아 16개 도시에 걸쳐 161,910개의 건물이 포함된 대규모 도시 데이터셋인 Building3D를 소개한다. 이 데이터셋은 항공 LiDAR 포인트 클라우드, 3D 메시 모델, 그리고 새로운 웜프레임 표현 방식을 포함한다. 3D 지붕 재구성에 대해 지도학습 및 자기지도학습 기반의 베이스라인을 수립하였으며, 자기지도학습 미리 훈련이 제한된 레이블 데이터에서 성능을 향상시킴을 입증하여 도시 규모의 3D 모델링 분야에서 새로운 기준을 설정한다.

ABSTRACT

Urban modeling from LiDAR point clouds is an important topic in computer vision, computer graphics, photogrammetry and remote sensing. 3D city models have found a wide range of applications in smart cities, autonomous navigation, urban planning and mapping etc. However, existing datasets for 3D modeling mainly focus on common objects such as furniture or cars. Lack of building datasets has become a major obstacle for applying deep learning technology to specific domains such as urban modeling. In this paper, we present a urban-scale dataset consisting of more than 160 thousands buildings along with corresponding point clouds, mesh and wire-frame models, covering 16 cities in Estonia about 998 Km2. We extensively evaluate performance of state-of-the-art algorithms including handcrafted and deep feature based methods. Experimental results indicate that Building3D has challenges of high intra-class variance, data imbalance and large-scale noises. The Building3D is the first and largest urban-scale building modeling benchmark, allowing a comparison of supervised and self-supervised learning methods. We believe that our Building3D will facilitate future research on urban modeling, aerial path planning, mesh simplification, and semantic/part segmentation etc.

연구 동기 및 목표

• 도시 모델링, 특히 LiDAR 포인트 클라우드에서 지붕 구조 재구성에 활용 가능한 대규모 실세계 3D 건물 데이터셋의 부족 문제를 해결하기 위해.
• 실도시 환경에서 지도학습 및 자기지도학습 기반의 딥러닝 방법을 평가하기 위한 종합적인 기준을 제공하기 위해.
• 다각형 건물에 대한 효율적이고 압축된 표현 방식으로서 웜프레임 모델을 신규로 도입하여, 효율적인 모델링 및 후속 작업을 가능하게 하기 위해.
• 고소음, 데이터 불균형, 내부 클래스 변동성이 높은 도전적인 대규모 데이터셋에서 최신 딥러닝 및 수작업 특징 기반 방법의 성능을 평가하기 위해.
• 공개된 고품질 데이터셋을 통해 향후 도시 모델링, 항공 경로 계획, 메시 단순화, 의미론적/부분 분할 연구를 가능하게 하기 위해.

제안 방법

• 데이터셋은 에스토니아 16개 도시에 걸쳐 총 875.39만 개의 항공 LiDAR 포인트와 161,910개의 3D 건물 모델을 포함하며, 약 998km²의 면적을 커버한다.
• 메시 모델은 표준 3D 재구성 파이프라인을 통해 포인트 클라우드에서 생성되며, 이후 정점과 선을 추출하여 웜프레임 모델로 변환된다.
• 지도학습 기반의 베이스라인은 전체 레이블이 포함된 데이터로 훈련된 포인트 클라우드 기반 딥러닝 모델을 사용하여 지붕 구조 예측을 수행한다.
• 자기지도학습 기반의 베이스라인은 레이블이 없는 포인트 클라우드에서 마스킹 오토에코딩(Masked Autoencoding, 예: Point-MAE)을 통해 사전 훈련한 후, 제한된 레이블 데이터로 미세조정하는 방식으로 도입된다.
• 평가 프레임워크는 RMSE, IoU, Edge Recall(ER) 등의 지표를 포함하며, 데이터 비율(1%에서 80%)에 대한 분석을 통해 데이터 부족 상황에서의 일반화 능력을 평가한다.
• 기존의 방법들인 2.5D 듀얼 컨투어링, PolyFit, 토폴로지 인식 모델링 등의 방법을 비교하기 위해 전문가가 최적화한 파rameter 설정을 실시한다.

실험 결과

연구 질문

• RQ1 대규모, 노이즈가 많고 완전하지 않은 LiDAR 포인트 클라우드에서 자기지도학습 기반 방법의 3D 지붕 재구성 성능은 어떠한가?
• RQ2 웜프레임 모델은 메시 모델과 비교해 볼 때 3D 건물 재구성에 있어 효과적이고 효율적인 표현 방식으로 기능할 수 있는가?
• RQ3 실세계 도시 포인트 클라우드에서 딥러닝 기반 방법과 전통적인 수작업 특징 기반 방법 간의 성능 격차는 어떠한가?
• RQ4 제한된 레이블 데이터에서 모델 성능은 어떻게 변할 수 있으며, 자기지도학습 미리 훈련이 도시 모델링에서의 데이터 부족 문제를 완화시킬 수 있는가?
• RQ5 고내부 클래스 변동성, 데이터 불균형, 노이즈 등의 과제가 3D 재구성 모델의 일반화 능력에 얼마나 큰 영향을 미치는가?

주요 결과

• Building3D 데이터셋은 161,910개의 건물과 에스토니아 16개 도시에 걸쳐 총 875.39만 개의 LiDAR 포인트를 포함한 도시 규모의 3D 지붕 모델링을 위한 첫 번째이자 가장 큰 벤치마크이다.
• 자기지도학습 미리 훈련은 제한된 레이블 데이터에서 성능을 크게 향상시키며, 동일한 데이터 비율(예: 1%, 10%, 20%, 50%, 80%)에서 Point-MAE를 초월하는 성능을 보였다.
• 기존 방법보다 낮은 RMSE와 IoU를 기록했음에도 불구하고, 딥러닝 모델은 웜프레임 진짜값이 최적화 과정을 이끌어내면서 더 매끄럽고 면수를 적게 가진 메시를 생성하였다.
• 수작업 특징 기반 방법들인 PolyFit 및 2.5D 듀얼 컨투어링은 고밀도이고 완전한 포인트 클라우드와 전문가의 최적화가 필요하지만, 딥러닝 방법은 파rameter 최적화 없이도 개방적이고 불완전한 포인트 클라우드에서도 작동한다.
• Edge Recall(ER)에서 모든 방법이 어려움을 겪었으며, 실세계 LiDAR 스캔에서의 데이터 불완전성과 노이즈로 인해 가장자리 및 모서리 감지를 지속적으로 어려워하는 문제를 보였다.
• 이 데이터셋은 풍부한 레이블과 다중 수준의 표현 방식 덕분에 의미론적 분할, 메시 단순화, 외곽선 추출, 항공 경로 계획 등 다양한 후속 응용 분야를 가능하게 하였다.