[论文解读] Classification of Bark Beetle-Induced Forest Tree Mortality using Deep Learning

Rudraksh Kapil, Seyed Mojtaba Marvasti-Zadeh+3 more|arXiv (Cornell University)|Jul 15, 2022

Forest Insect Ecology and Management被引用 6

一句话总结

本文提出一种基于RetinaNet的深度学习方法，采用预训练主干网络，利用无人机影像对四种树皮 beetle 引起的树木死亡阶段进行分类。通过应用仿射变形数据增强技术解决类别不平衡问题，模型实现了98.95%的平均准确率，显著优于基线方法和经典机器学习模型。

ABSTRACT

Bark beetle outbreaks can dramatically impact forest ecosystems and services around the world. For the development of effective forest policies and management plans, the early detection of infested trees is essential. Despite the visual symptoms of bark beetle infestation, this task remains challenging, considering overlapping tree crowns and non-homogeneity in crown foliage discolouration. In this work, a deep learning based method is proposed to effectively classify different stages of bark beetle attacks at the individual tree level. The proposed method uses RetinaNet architecture (exploiting a robust feature extraction backbone pre-trained for tree crown detection) to train a shallow subnetwork for classifying the different attack stages of images captured by unmanned aerial vehicles (UAVs). Moreover, various data augmentation strategies are examined to address the class imbalance problem, and consequently, the affine transformation is selected to be the most effective one for this purpose. Experimental evaluations demonstrate the effectiveness of the proposed method by achieving an average accuracy of 98.95%, considerably outperforming the baseline method by approximately 10%.

研究动机与目标

• 开发一种基于深度学习的自动化方法，利用无人机获取的航拍影像对树皮 beetle 感染引起的个体树木死亡阶段进行分类。
• 应对树冠重叠、非均匀叶色变色以及类别不平衡等挑战。
• 改进依赖手工特征工程且在原始RGB数据上表现不佳的经典机器学习方法。
• 评估不同数据增强策略在提升模型泛化能力及少数类性能方面的有效性。
• 实现对受感染树木的早期检测，以提升森林管理与疫情控制策略。

提出的方法

• 该方法采用改进的RetinaNet架构，包含特征金字塔网络（FPN）和基于DeepForest模型在树冠检测上预训练的主干网络。
• 训练一个浅层子网络端到端分类四个不同的攻击阶段：绿色（健康）、黄色、红色和无叶（死亡）树木。
• 模型在多个飞行任务中获取的无人机拍摄的RGB图像数据集上进行微调，飞行高度和时间覆盖整个侵染周期。
• 应用多种数据增强技术——仿射变形、裁剪、翻转、模糊、旋转和色彩抖动——以平衡高度不平衡的数据集。
• 仿射变形被选为最有效的增强策略，因其在保持类别可分性的同时提升了几何多样性。
• 通过准确率、混淆矩阵和t-SNE可视化分析模型性能，评估不同增强策略下的类别可分性。

实验结果

研究问题

• RQ1 基于无人机影像训练的深度学习模型能否以高准确率有效分类由树皮 beetle 感染引起的个体树木死亡阶段？
• RQ2 不同数据增强策略对模型性能有何影响，特别是在解决树冠图像数据集中类别不平衡问题方面？
• RQ3 与从零开始训练或使用ImageNet预训练模型相比，使用树冠检测预训练主干网络是否能提升分类性能？
• RQ4 视觉症状（如颜色变化和几何畸变）在多大程度上影响模型泛化能力？增强技术如何缓解这些问题？
• RQ5 所提出的方法能否在原始RGB数据上超越依赖手工特征工程的经典机器学习模型？

主要发现

• 所提出的深度学习方法实现了98.95%的平均分类准确率，较基线方法（89%）高出9.95个百分点，表现显著更优。
• 采用仿射变形增强的模型性能最高，而色彩抖动导致最差性能下降（准确率83.90%），表明颜色变化会干扰基于视觉症状的分类。
• 仿射变形是最有效的增强策略，因其在不损害类别可分性的前提下增强了几何多样性，t-SNE可视化结果证实了这一点。
• 混淆矩阵显示，除6月60米飞行任务中因树冠重叠导致一次误分类（无叶被分类为红色）外，其余飞行任务的分类均接近完美。
• 经典机器学习模型（SVM、KNN、RF）表现较差（准确率分别为53.10%和40.24%），凸显了在原始RGB数据上手工特征工程的局限性。
• 消融实验证实增强技术至关重要：若不使用增强，准确率降至97.69%，而旋转和色彩抖动等策略则显著降低性能。