[论文解读] Individual Tree Detection in Large-Scale Urban Environments using High-Resolution Multispectral Imagery

Jonathan Ventura, Camille Pawlak+11 more|arXiv (Cornell University)|Aug 22, 2022

Remote Sensing in Agriculture被引用 6

一句话总结

本文提出一种利用高分辨率多光谱航空影像进行深度学习的方法，以检测整个城市区域内的单个树木，通过类似U-Net的网络（HR-SFANet）回归树位置的置信度图，在南加州数据上实现73.6%的精确率和73.3%的召回率，成功实现对加利福尼亚州城市森林的大规模制图，估算出约4350万棵树。

ABSTRACT

We introduce a novel deep learning method for detection of individual trees in urban environments using high-resolution multispectral aerial imagery. We use a convolutional neural network to regress a confidence map indicating the locations of individual trees, which are localized using a peak finding algorithm. Our method provides complete spatial coverage by detecting trees in both public and private spaces, and can scale to very large areas. We performed a thorough evaluation of our method, supported by a new dataset of over 1,500 images and almost 100,000 tree annotations, covering eight cities, six climate zones, and three image capture years. We trained our model on data from Southern California, and achieved a precision of 73.6% and recall of 73.3% using test data from this region. We generally observed similar precision and slightly lower recall when extrapolating to other California climate zones and image capture dates. We used our method to produce a map of trees in the entire urban forest of California, and estimated the total number of urban trees in California to be about 43.5 million. Our study indicates the potential for deep learning methods to support future urban forestry studies at unprecedented scales.

研究动机与目标

• 开发一种可扩展的深度学习方法，利用公开获取的高分辨率多光谱影像检测城市环境中的单个树木。
• 实现对公共和私人城市土地的完整空间覆盖的树木检测，克服仅捕获公共树木的手动清查的局限性。
• 利用大规模、多样化的数据集，评估模型在不同气候区和影像采集日期下的泛化能力。
• 为加利福尼亚州生成省级城市树木地图，实现对城市树木总数的规模化估算。
• 证明使用点标注而非边界框的可行性，减少标注工作量的同时保持性能。

提出的方法

• 该方法采用一种名为HR-SFANet的改进U-Net架构，利用VGG-16编码器从60厘米分辨率的多光谱航空影像中提取特征。
• 解码器头通过回归生成表示树木位置的置信度图，编码器层的跳跃连接用于保留空间细节。
• 计算注意力图并与置信度图相乘，以优化预测，提高定位准确性。
• 通过在置信度图上进行峰值检测识别树木位置，避免使用非极大值抑制或边界框回归。
• 模型通过点标注的二元交叉熵损失进行端到端训练，并采用数据增强技术以提高鲁棒性。
• 该方法通过分块处理影像并拼接结果，实现对大区域的可扩展处理，支持省级制图。

实验结果

研究问题

• RQ1 在加利福尼亚州某一区域的多光谱影像上训练的深度学习模型，能否泛化到其他气候区和不同影像采集日期？
• RQ2 基于点的检测方法在城市树木检测中与传统使用边界框的目标检测方法相比，性能如何？
• RQ3 在未在私人土地影像上进行显式训练的情况下，模型在公共土地影像上训练后，对私人土地上的树木检测能力有多强？
• RQ4 该方法在使用公开获取的数据对整个美国州级区域进行城市森林制图时，其可扩展性如何？
• RQ5 当应用于加利福尼亚州全部城市森林时，最终的树木数量估算结果有多准确？

主要发现

• 在南加州数据上测试时，该模型实现了73.6%的精确率和73.3%的召回率，表明其在目标区域具有强劲性能。
• 在推广至加利福尼亚州其他气候区和不同影像采集日期时，模型保持了相似的精确率，但召回率略有下降，表明具备中等泛化能力。
• 该方法成功检测了公共和私人土地上的树木，实现了城市树木检测的完整空间覆盖。
• 利用训练好的模型，研究人员对加利福尼亚州所有城市区域进行了制图，并估算出城市树木总数约为4350万棵。
• 包含1500多张影像、近10万个树木标注，覆盖八座城市、六个气候区和三年时间的数据集，为未来城市树木检测研究提供了强有力的基准。
• 使用点标注而非边界框显著减少了标注工作量，同时保持了高检测准确率，支持与现有城市树木清查系统的整合。