[논문 리뷰] Building Floorspace in China: A Dataset and Learning Pipeline

Peter Egger, Susie Xi Rao외 1명|arXiv (Cornell University)|2023. 03. 03.

Impact of Light on Environment and Health인용 수 5

한 줄 요약

이 논문은 센티넬-1 및 센티넬-2 위성 영상 자료를 활용하여 중국의 40개 주요 도시에서 건물 기초 및 높이를 추정하기 위한 혁신적인 다중 작업 딥러닝 파이프라인을 소개한다. 이는 높은 횡단적 및 종단적 커버리지를 달성한다. 이 방법은 최소한의 지상 참조 데이터에 의존하면서도 다층적 공간과 건물 기하학을 동시에 예측하여 확장 가능한 도시 분석을 가능하게 하며, 야간 빛 데이터와의 상관관계를 통해 도시 발전 추세를 검증한다.

ABSTRACT

This paper provides a first milestone in measuring the floorspace of buildings (that is, building footprint and height) for 40 major Chinese cities. The intent is to maximize city coverage and, eventually provide longitudinal data. Doing so requires building on imagery that is of a medium-fine-grained granularity, as larger cross sections of cities and longer time series for them are only available in such format. We use a multi-task object segmenter approach to learn the building footprint and height in the same framework in parallel: (1) we determine the surface area is covered by any buildings (the square footage of occupied land); (2) we determine floorspace from multi-image representations of buildings from various angles to determine the height of buildings. We use Sentinel-1 and -2 satellite images as our main data source. The benefits of these data are their large cross-sectional and longitudinal scope plus their unrestricted accessibility. We provide a detailed description of our data, algorithms, and evaluations. In addition, we analyze the quality of reference data and their role for measuring the building floorspace with minimal error. We conduct extensive quantitative and qualitative analyses with Shenzhen as a case study using our multi-task learner. Finally, we conduct correlation studies between our results (on both pixel and aggregated urban area levels) and nightlight data to gauge the merits of our approach in studying urban development. Our data and codebase are publicly accessible under https://gitlab.ethz.ch/raox/urban-satellite-public-v2.

연구 동기 및 목표

• 대규모 중국 도시 수십 개에서 건물 면적(기초 및 높이)을 측정하기 위한 확장 가능하고 오픈소스 방법을 개발하는 것.
• 특히 중국과 같이 급속한 도시화가 진행 중인 개발도상국에서 고품질, 표준화되고 종단적인 도시 데이터의 부족을 해결하는 것.
• 도시 집적화 및 인프라 발전의 종단적 분석을 지원하는 데이터셋과 학습 파이프라인을 구축하는 것.
• 기준 데이터 및 야간 빛 데이터와의 픽셀 수준 및 도시 지역 수준의 집합적 비교를 통해 모델의 정확성과 견고성을 평가하는 것.
• 향후 고해상도 데이터 소스(예: 플래닛 위성 영상)와 3차원 복원에서 유래한 향상된 기준 데이터와의 통합을 위한 기반을 마련하는 것.

제안 방법

• 다중 작업 객체 세그멘테이션 프레임워크를 사용하여 다중 스펙트럼 및 레이더 위성 영상에서 동시에 건물 기초와 높이를 예측한다.
• 중간-세밀한 공간적 및 시간적 커버리지를 확보하기 위해 센티넬-1(C밴드 SAR) 및 센티넬-2(광학) 위성 자료를 활용한다(2015–2022).
• 기준 데이터와 자기 지도 신호의 조합으로 훈련된 딥러닝 모델을 사용하여 건물 기하학과 면적을 추정한다.
• 작업별 수치 척도에 기반하여 기초 및 높이 예측의 손실 함수를 균형 조절하기 위해 격자 탐색 기법을 적용한다.
• 모델 성능 평가 및 도시 발전 추세 분석을 위해 VIIRS 센서에서 유래한 야간 빛 자료를 외부 검증 지표로 통합한다.
• 하모니제이션된 플래닛 위성 영상과 사전 학습된 모델을 활용하여 파이프라인을 확장할 계획이며, Amap 3D 복원 자료를 활용해 기준 데이터의 품질을 향상시킬 예정이다.

실험 결과

연구 질문

• RQ1 중간 해상도 위성 자료를 사용하여 중국의 여러 도시에서 다중 작업 딥러닝 모델이 건물 기초 및 높이를 대규모로 정확하게 예측할 수 있는가?
• RQ2 예측된 면적은 야간 빛 강도와 같은 기존의 도시 발전 지표와 얼마나 상관이 있는가?
• RQ3 데이터 품질과 기준 데이터의 가용성이 건물 수준의 예측 정확성에 어떤 영향을 미치는가?
• RQ4 건물 커버리지 비율과 같은 집계된 도시 수준 지표를 통해 모델의 예측을 어느 정도 검증할 수 있는가?
• RQ5 파이프라인은 다수의 시간 포인트에 걸친 종단적 분석을 지원하고 다양한 위성 자료 소스를 통합하기 위해 어떻게 확장될 수 있는가?

주요 결과

• 기존의 머신러닝 모델에 비해 다중 작업 학습 모델이 건물 기초 및 높이 예측 정확도에서 뚜렷한 향상을 보였으며, 각각 R² 향상 폭이 0.11–0.49 및 0.27–0.63에 이르렀다.
• 예측된 면적은 픽셀 수준과 도시 지역 집계 수준에서 모두 야간 빛 데이터와 강한 상관관계를 보이며, 모델이 도시 발전 역학을 잘 포착하고 있음을 검증한다.
• 모델의 성능은 집계 수준에서 뚜렷하게 견고하며, 다양한 도시 단위와 시간대에서 일관된 예측을 제공한다.
• 센티넬-1 및 센티넬-2 자료의 사용으로 2015~2022년 기간 동안 중국의 40개 주요 도시에서 일관되고 대규모 커버리지를 확보할 수 있었다.
• 확장 가능성을 고려하여 설계된 파이프라인은 향후 플래닛 위성 영상과 Amap 3D 복원 자료 통합을 통해 해상도 향상 및 애너테이션 필요성 감소를 기대할 수 있다.
• GitLab 경유로 오픈소스로 코드베이스와 데이터셋을 공개하여 재현 가능성을 확보하였으며, 향후 2009~2022년 기간 동안 중국 전역으로의 확장이 가능해졌다.