[论文解读] Building Floorspace in China: A Dataset and Learning Pipeline

Peter Egger, Susie Xi Rao+1 more|arXiv (Cornell University)|Mar 3, 2023

Impact of Light on Environment and Health被引用 5

一句话总结

本文提出了一种新颖的多任务深度学习流程，利用哨兵-1和哨兵-2卫星影像，在40个主要中国城市中估算建筑轮廓和高度，实现了高跨区域和纵向覆盖。该方法联合预测建筑面积和建筑几何形态，对地面真实数据的依赖极低，从而支持可扩展的城市分析，并通过与夜间灯光数据的相关性验证了城市发展趋势。

ABSTRACT

This paper provides a first milestone in measuring the floorspace of buildings (that is, building footprint and height) for 40 major Chinese cities. The intent is to maximize city coverage and, eventually provide longitudinal data. Doing so requires building on imagery that is of a medium-fine-grained granularity, as larger cross sections of cities and longer time series for them are only available in such format. We use a multi-task object segmenter approach to learn the building footprint and height in the same framework in parallel: (1) we determine the surface area is covered by any buildings (the square footage of occupied land); (2) we determine floorspace from multi-image representations of buildings from various angles to determine the height of buildings. We use Sentinel-1 and -2 satellite images as our main data source. The benefits of these data are their large cross-sectional and longitudinal scope plus their unrestricted accessibility. We provide a detailed description of our data, algorithms, and evaluations. In addition, we analyze the quality of reference data and their role for measuring the building floorspace with minimal error. We conduct extensive quantitative and qualitative analyses with Shenzhen as a case study using our multi-task learner. Finally, we conduct correlation studies between our results (on both pixel and aggregated urban area levels) and nightlight data to gauge the merits of our approach in studying urban development. Our data and codebase are publicly accessible under https://gitlab.ethz.ch/raox/urban-satellite-public-v2.

研究动机与目标

• 开发一种可扩展、开源的方法，用于大规模估算中国众多城市的建筑建筑面积（轮廓和高度）。
• 克服发展中国家，特别是中国等快速城市化地区，缺乏高质量、标准化和纵向城市数据的问题。
• 创建一个数据集和学习流程，以支持城市集聚区和基础设施发展的纵向分析。
• 通过与参考数据和夜间灯光数据在像素级别和城市区域聚合级别上的比较，评估模型的准确性和鲁棒性。
• 为未来整合更高分辨率数据源（如Planet影像）和来自三维重建的改进参考数据奠定基础。

提出的方法

• 采用多任务目标分割框架，从多光谱和雷达卫星影像中同时预测建筑轮廓和高度。
• 使用哨兵-1（C波段SAR）和哨兵-2（光学）卫星数据，实现中等至细粒度的空间和时间覆盖（2015–2022年）。
• 应用一种深度学习模型，该模型在参考数据和自监督信号的组合上进行训练，以估算建筑几何形态和建筑面积。
• 采用网格搜索方法平衡轮廓和高度预测的损失函数，基于各任务的特定数值尺度。
• 将VIIRS传感器的夜间灯光数据作为外部验证指标，评估模型性能和城市发展趋势。
• 计划通过整合统一的Planet卫星影像和预训练模型扩展该流程，同时利用高德地图3D重建数据提升参考数据质量。

实验结果

研究问题

• RQ1 能否利用中等分辨率卫星数据，在多个中国城市中，通过多任务深度学习模型大规模准确预测建筑轮廓和高度？
• RQ2 预测的建筑面积与夜间灯光强度等既有的城市发展指标之间存在何种相关性？
• RQ3 数据质量和参考数据的可用性对建筑层级预测准确性有何影响？
• RQ4 在多大程度上可利用建筑覆盖比例等聚合城市级指标验证模型预测结果？
• RQ5 该流程如何扩展以支持多个时间点的纵向分析，并整合多样化的卫星数据源？

主要发现

• 与传统机器学习模型相比，多任务学习模型在建筑轮廓和高度预测准确性方面均取得显著提升，R²分别提高了0.11–0.49和0.27–0.63。
• 预测的建筑面积在像素级别和聚合城市区域级别上均与夜间灯光数据表现出强相关性，验证了模型捕捉城市发展趋势动态的能力。
• 模型在聚合层面表现稳健，不同城市单元和时间段的预测结果保持一致。
• 利用哨兵-1和哨兵-2数据实现了2015至2022年间对40个主要中国城市的稳定、大规模覆盖。
• 该流程设计具备可扩展性，计划整合Planet卫星影像和高德地图3D重建数据，以提升分辨率并减少标注需求。
• 通过GitLab开源发布代码库和数据集，支持可复现性，并为2009至2022年间所有中国城市的数据扩展提供了基础。