[论文解读] Automatic classification of trees using a UAV onboard camera and deep learning

Masanori Onishi, Takeshi Ise|arXiv (Cornell University)|Apr 27, 2018

Remote Sensing and LiDAR Applications被引用 23

一句话总结

本文提出了一种仅使用消费级无人机的普通RGB图像与深度学习相结合的低成本自动树种分类方法。通过从无人机影像中分割出单个树冠，并应用基于对象的深度学习，该系统在分类七种树种时达到了89.0%的准确率，证明了即使不使用昂贵的多光谱传感器，也能实现高性能分类。

ABSTRACT

Automatic classification of trees using remotely sensed data has been a dream of many scientists and land use managers. Recently, Unmanned aerial vehicles (UAV) has been expected to be an easy-to-use, cost-effective tool for remote sensing of forests, and deep learning has attracted attention for its ability concerning machine vision. In this study, using a commercially available UAV and a publicly available package for deep learning, we constructed a machine vision system for the automatic classification of trees. In our method, we segmented a UAV photography image of forest into individual tree crowns and carried out object-based deep learning. As a result, the system was able to classify 7 tree types at 89.0% accuracy. This performance is notable because we only used basic RGB images from a standard UAV. In contrast, most of previous studies used expensive hardware such as multispectral imagers to improve the performance. This result means that our method has the potential to classify individual trees in a cost-effective manner. This can be a usable tool for many forest researchers and managements.

研究动机与目标

• 开发一种使用市售无人机的低成本、自动化个体树种分类系统。
• 克服传统遥感方法依赖昂贵多光谱或高光谱成像设备的局限性。
• 证明仅使用标准RGB图像和深度学习即可实现高分类准确率。
• 为森林研究人员和土地管理者提供一种实用且可扩展的工具。

提出的方法

• 使用配备标准RGB相机的市售无人机采集森林影像。
• 应用图像分割技术从无人机照片中分离出单个树冠。
• 采用基于对象的深度学习方法，根据分割后的树冠区域对树种进行分类。
• 使用公开可用的深度学习框架训练并部署分类模型。
• 仅使用RGB图像数据进行模型训练，无需多光谱或高光谱输入。
• 通过机载处理或飞行后分析，优化端到端流程以实现实时处理。

实验结果

研究问题

• RQ1 仅使用标准RGB无人机影像，是否可以在不依赖多光谱传感器的情况下实现高精度树种分类？
• RQ2 将基于对象的深度学习应用于无人机影像中分割出的树冠时，其有效性如何？
• RQ3 仅使用消费级无人机硬件和开源深度学习工具，能够达到何种水平的分类准确率？
• RQ4 该方法是否可作为现有高成本遥感技术在森林监测中的实用、低成本替代方案？

主要发现

• 该系统仅使用标准RGB无人机影像，对七种树种的总体分类准确率达到89.0%。
• 该方法优于许多以往依赖昂贵多光谱成像硬件的研究方法。
• 在分割后的树冠上应用基于对象的深度学习，显著提升了分类性能，优于基于像素的方法。
• 该方法具有可扩展性和成本效益，适用于广泛应用于森林管理和生态研究。
• 结果表明，仅需极少的硬件投入和公开可用的深度学习工具，即可实现高准确率。
• 本研究证实了利用现成技术在真实林业应用中部署自动化树种分类的可行性。