[论文解读] Fine-Grained Land Use Classification at the City Scale Using Ground-Level Images

Yi Zhu, Xueqing Deng+1 more|arXiv (Cornell University)|Feb 7, 2018

Remote-Sensing Image Classification参考文献 31被引用 5

一句话总结

本文提出了一种深度学习框架，利用来自Flickr的地理参考地面级图像，在城市尺度上实现细粒度土地利用分类。该框架采用双流卷积神经网络，通过基于搜索的数据增强和在线自适应训练进行端到端训练，在旧金山45类新型真实标注地图上实现了29.03%的个体地块召回率，为细粒度城市土地利用制图建立了强有力的基线。

ABSTRACT

We perform fine-grained land use mapping at the city scale using ground-level images. Mapping land use is considerably more difficult than mapping land cover and is generally not possible using overhead imagery as it requires close-up views and seeing inside buildings. We postulate that the growing collections of georeferenced, ground-level images suggest an alternate approach to this geographic knowledge discovery problem. We develop a general framework that uses Flickr images to map 45 different land-use classes for the City of San Francisco. Individual images are classified using a novel convolutional neural network containing two streams, one for recognizing objects and another for recognizing scenes. This network is trained in an end-to-end manner directly on the labeled training images. We propose several strategies to overcome the noisiness of our user-generated data including search-based training set augmentation and online adaptive training. We derive a ground truth map of San Francisco in order to evaluate our method. We demonstrate the effectiveness of our approach through geo-visualization and quantitative analysis. Our framework achieves over 29% recall at the individual land parcel level which represents a strong baseline for the challenging 45-way land use classification problem especially given the noisiness of the image data.

研究动机与目标

• 为解决城市尺度细粒度土地利用分类的挑战，传统遥感和粗粒度土地利用地图无法捕捉功能多样性。
• 通过开发稳健的深度学习技术，克服用户生成图像的噪声和非结构化问题，实现弱监督学习。
• 构建一个标准化的、高分辨率的旧金山土地利用真实标注地图，包含三级分类体系（5个顶层、16个中间层、45个细粒度类别），作为未来研究的基准。
• 证明利用大规模、地理标记的网络图像实现自动化、实时更新的城市功能制图的可行性与有效性。

提出的方法

• 提出一种双流卷积神经网络：一个分支用于目标识别，另一个用于场景识别，从而实现从视觉内容中联合学习特征。
• 利用新颖的基于搜索的数据增强策略，在弱监督、噪声较大的Flickr图像上进行端到端训练，以提升泛化能力。
• 引入在线自适应训练策略，在训练过程中动态调整模型，提升对标签噪声和分布偏移的鲁棒性。
• 通过结合基于土地的分类标准（LBCS）与Google Places API构建真实标注地图，为评估提供45类标注分类体系。
• 该框架利用旧金山全市范围的地理标记图像，实现无需对所有数据进行人工标注的大规模、可扩展的土地利用推断。

实验结果

研究问题

• RQ1 仅使用噪声大、用户生成的地面级图像，是否能有效实现城市尺度的细粒度土地利用分类？
• RQ2 与单流模型相比，采用双流CNN进行端到端训练在区分细微土地利用差异方面表现如何？
• RQ3 基于搜索的数据增强和在线自适应训练在提升噪声网络图像数据上的模型鲁棒性方面，效果如何？
• RQ4 在Flickr图像上训练的模型是否能泛化到其他社交媒体来源（如Instagram），表明其迁移能力和领域自适应能力？
• RQ5 在细粒度类别上进行训练，是否能比直接在粗粒度标签上训练获得更好的粗粒度土地利用类别性能？

主要发现

• 所提出的双流CNN框架在45类分类任务中，于个体地块层面实现了29.03%的召回率，为细粒度土地利用制图建立了强有力的基线。
• 模型在45类分类中准确率达46.7%，在16类中达61.8%，在5类中达75.6%，表明细粒度训练可提升粗粒度层级的性能。
• 在细粒度类别上训练优于直接在粗粒度标签上训练，后者因类内方差过高，仅达到49.3%的准确率，略高于随机猜测水平。
• 模型可泛化至其他数据源，在Instagram图像上实现17.3%的召回率，尽管图像风格和内容存在差异，表明具备良好的领域自适应能力。
• 目标分支的表现优于场景分支，表明目标级线索对土地利用分类更具判别力，支持未来结合目标检测器以进一步提升性能。