[论文解读] A multi-task convolutional neural network for mega-city analysis using very high resolution satellite imagery and geospatial data

Fan Zhang, Bo Du+1 more|arXiv (Cornell University)|Feb 26, 2017

Remote-Sensing Image Classification参考文献 28被引用 4

一句话总结

本文提出了一种多任务卷积神经网络（CNN），能够从非常高分辨率（VHR）卫星影像和地理空间数据中联合预测细粒度土地利用、城市密度和人口分布图。通过利用深度CNN自动学习分层特征，并采用共享编码器-解码器架构与任务特定的输出头，该方法在武汉市市中心2606 km²的VHR影像上实现了高精度，展示了首个基于CNN的端到端框架，用于处理如此大规模数据量的超大城市分析。

ABSTRACT

Mega-city analysis with very high resolution (VHR) satellite images has been drawing increasing interest in the fields of city planning and social investigation. It is known that accurate land-use, urban density, and population distribution information is the key to mega-city monitoring and environmental studies. Therefore, how to generate land-use, urban density, and population distribution maps at a fine scale using VHR satellite images has become a hot topic. Previous studies have focused solely on individual tasks with elaborate hand-crafted features and have ignored the relationship between different tasks. In this study, we aim to propose a universal framework which can: 1) automatically learn the internal feature representation from the raw image data; and 2) simultaneously produce fine-scale land-use, urban density, and population distribution maps. For the first target, a deep convolutional neural network (CNN) is applied to learn the hierarchical feature representation from the raw image data. For the second target, a novel CNN-based universal framework is proposed to process the VHR satellite images and generate the land-use, urban density, and population distribution maps. To the best of our knowledge, this is the first CNN-based mega-city analysis method which can process a VHR remote sensing image with such a large data volume. A VHR satellite image (1.2 m spatial resolution) of the center of Wuhan covering an area of 2606 km2 was used to evaluate the proposed method. The experimental results confirm that the proposed method can achieve a promising accuracy for land-use, urban density, and population distribution maps.

研究动机与目标

• 开发一个统一的深度学习框架，用于同时预测超大城市的土地利用、城市密度和人口分布。
• 克服先前单任务方法依赖手工设计特征且忽略任务间关系的局限性。
• 实现在原始VHR卫星影像和地理空间数据上无需人工特征工程的端到端学习。
• 利用深度CNN架构高效处理大规模VHR影像（1.2 m分辨率，2606 km²）。
• 证明多任务学习在城市遥感应用中的可行性和有效性。

提出的方法

• 使用深度卷积神经网络（CNN）直接从原始VHR卫星影像中提取分层特征表示。
• 采用共享编码器-解码器架构，其中编码器处理输入影像，解码器为每个任务生成预测结果。
• 在解码器上附加任务特定的输出头，以同时预测土地利用图、城市密度图和人口分布图。
• 使用结合了所有三项任务损失的多任务损失函数，对模型进行端到端训练。
• 将VHR卫星影像与额外的地理空间数据集成，以提高预测的鲁棒性和准确性。
• 架构设计可高效处理大规模影像（1.2 m分辨率，2606 km²），适用于城市尺度分析。

实验结果

研究问题

• RQ1 深度CNN能否有效从原始VHR卫星影像中学习到适用于城市分析任务的分层特征？
• RQ2 与单任务模型相比，多任务学习是否能提升土地利用、城市密度和人口分布预测的准确性？
• RQ3 是否可行使用单一深度学习框架在大规模VHR影像上联合预测多种城市指标？
• RQ4 地理空间数据的集成如何影响多任务CNN在城市制图中的性能？
• RQ5 所提出的方法能否在不产生显著计算开销的前提下扩展到非常大的城市区域（例如2606 km²）？

主要发现

• 所提出的多任务CNN在预测土地利用图方面取得了高精度，结果在武汉数据集上表现出色。
• 该模型成功生成了1.2 m分辨率下精细空间尺度的城市密度和人口分布图。
• 多任务学习的集成改善了特征表示学习，相比单任务基线模型，提升了任务间的泛化能力。
• 该方法有效处理了覆盖2606 km²的大规模VHR影像，证实其在真实世界超大城市应用中的可扩展性。
• 结果表明，采用共享特征学习的端到端深度学习方法可优于依赖手工特征的传统方法。
• 该框架是首个基于CNN的大规模、多指标城市分析方法，应用于VHR卫星影像与地理空间数据的融合。