[论文解读] Development of Automatic Tree Counting Software from UAV Based Aerial Images With Machine Learning

Musa Ataş, Ayhan Talay|arXiv (Cornell University)|Jan 7, 2022

Remote Sensing and LiDAR Applications被引用 7

一句话总结

本文提出了一种基于无人机航拍图像与机器学习的自动化树木计数系统，具体采用多层感知机（MLP）分类器对RGB模态图像进行处理。在图像拼接、去噪及在HSB、RGB和灰度图像中进行目标标注后，MLP在四个校园区域的树木检测中平均准确率达到87%，并通过模型序列化与斑点检测实现实时性能，最终完成计数。

ABSTRACT

Unmanned aerial vehicles (UAV) are used successfully in many application areas such as military, security, monitoring, emergency aid, tourism, agriculture, and forestry. This study aims to automatically count trees in designated areas on the Siirt University campus from high-resolution images obtained by UAV. Images obtained at 30 meters height with 20% overlap were stitched offline at the ground station using Adobe Photoshop's photo merge tool. The resulting image was denoised and smoothed by applying the 3x3 median and mean filter, respectively. After generating the orthophoto map of the aerial images captured by the UAV in certain regions, the bounding boxes of different objects on these maps were labeled in the modalities of HSV (Hue Saturation Value), RGB (Red Green Blue) and Gray. Training, validation, and test datasets were generated and then have been evaluated for classification success rates related to tree detection using various machine learning algorithms. In the last step, a ground truth model was established by obtaining the actual tree numbers, and then the prediction performance was calculated by comparing the reference ground truth data with the proposed model. It is considered that significant success has been achieved for tree count with an average accuracy rate of 87% obtained using the MLP classifier in predetermined regions.

研究动机与目标

• 开发一种基于机器学习的自动化、实时软件系统，用于对无人机获取的航拍图像中的树木进行计数。
• 评估多种机器学习分类器（MLP、SVM、KNN、随机森林）在不同图像色彩模态（RGB、HSB、灰度）下检测树木的性能。
• 在西里尔大学校园建立树木计数的地面真实数据，以验证所提出模型的预测准确率。
• 通过像素级分类与斑点检测实现端到端的实时处理流程，提升树木计数效率。
• 比较不同色彩空间（RGB、HSB、灰度）下的分类性能，以确定树木检测的最佳输入模态。

提出的方法

• 无人机以30米高度飞行，图像重叠率20%，以捕获西里尔大学校园的高分辨率航拍图像。
• 使用Adobe Photoshop的图像合并工具对重叠的无人机图像进行拼接，生成单幅正射影像图。
• 通过3×3中值与均值滤波器进行预处理，以减少噪声并平滑正射影像图。
• 在HSB、RGB和灰度模态下进行目标标注，为机器学习创建训练集、验证集与测试集。
• 使用10折交叉验证对四种分类器（MLP、SVM、KNN、随机森林）进行训练与交叉验证。
• 将模型序列化为Java格式，实现在部署时无需重新训练即可加载已训练的MLP模型，实现高效实时推理。
• 使用训练好的MLP对RGB图像进行像素级分类，生成包含不同类别（树木、土壤、草地等）的分割图像。
• 通过二值化处理将树木-1类（黑色像素）分离，随后利用斑点检测识别单个树木区域。
• 基于尺寸阈值对斑点进行过滤，以消除由噪声引起的误报。
• 使用OCL库计算质心并叠加边界框，以在原始图像上标记并计数检测到的树木。

实验结果

研究问题

• RQ1 哪种机器学习分类器在基于无人机航拍图像的树木检测中准确率最高？
• RQ2 图像色彩模态的选择（RGB、HSB、灰度）如何影响树木检测算法的分类性能？
• RQ3 是否能够通过预训练的MLP分类器结合模型序列化，有效实现一个实时树木计数系统？
• RQ4 在像素级分类后，结合尺寸过滤的斑点检测在多大程度上提升了树木计数的准确性？
• RQ5 当与真实校园数据的地面真实树木计数进行对比时，所提出系统的整体预测准确率如何？

主要发现

• MLP分类器在四个测试区域中实现了87%的平均准确率，优于SVM、KNN与随机森林。
• RGB模态的分类性能优于HSB与灰度图像，HSB模态表现接近但略低。
• 灰度图像因类别可分性降低及类别重叠增加，导致分类准确率最低。
• Region-4的个体准确率最高，达到93%；Region-3最低，为75%，表明不同地形类型间检测性能存在差异。
• 通过Java实现的模型序列化技术，避免了部署时的重新训练，显著提升了实时推理效率。
• 斑点检测结合尺寸阈值过滤显著减少了误报，提升了最终树木计数的可靠性。