[论文解读] Automatic Plant Cover Estimation with Convolutional Neural Networks

Matthias Körschens, Paul Bodesheim+5 more|arXiv (Cornell University)|Jan 1, 2021

Species Distribution and Climate Change参考文献 23被引用 2

一句话总结

本文提出了一种基于卷积神经网络（CNN）的方法，利用高分辨率图像实现草本植被样方中植物覆盖度的自动估算。通过在植物特定数据集上进行域内预训练，并结合标准CNN架构与特征金字塔网络（FPNs），该方法实现了5.16%的平均绝对误差，优于先前工作；然而误差分析揭示，遮挡以及将枯死植物残渣误分类为活体物种是主要挑战。

ABSTRACT

Monitoring the responses of plants to environmental changes is essential for plant biodiversity research. This, however, is currently still being done manually by botanists in the field. This work is very laborious, and the data obtained is, though following a standardized method to estimate plant coverage, usually subjective and has a coarse temporal resolution. To remedy these caveats, we investigate approaches using convolutional neural networks (CNNs) to automatically extract the relevant data from images, focusing on plant community composition and species coverages of 9 herbaceous plant species. To this end, we investigate several standard CNN architectures and different pretraining methods. We find that we outperform our previous approach at higher image resolutions using a custom CNN with a mean absolute error of 5.16%. In addition to these investigations, we also conduct an error analysis based on the temporal aspect of the plant cover images. This analysis gives insight into where problems for automatic approaches lie, like occlusion and likely misclassifications caused by temporal changes.

研究动机与目标

• 自动化生物多样性监测中手动且耗时的植物覆盖度估算过程。
• 解决人工评估中存在的时间分辨率低和主观性强的问题。
• 探究标准CNN架构与预训练策略在像素级植物覆盖度回归任务中的表现。
• 通过时间误差模式分析，识别与植物生长和衰老相关的故障模式。
• 通过引入FPN等架构改进，提升模型的准确性和可解释性。

提出的方法

• 在草本植物群落的高分辨率图像上训练多种标准CNN架构（ResNet50、InceptionV3、DenseNet121）。
• 通过特征金字塔网络（FPNs）增强特征表示，以提高输出分辨率并改善定位能力。
• 通过评估多种图像分辨率，分析感受野与尺度敏感性的影响。
• 将基于自定义植物数据集（GBIF获取）的域内预训练与ImageNet的域外预训练进行对比。
• 应用像素级分类头预测每个像素的类别概率，并将其聚合以估算物种覆盖百分比。
• 通过按图像拍摄周次分组预测结果，开展时间误差分析，以识别故障模式。

实验结果

研究问题

• RQ1 与作者先前的方法相比，标准CNN架构（ResNet50、InceptionV3、DenseNet121）在植物覆盖度估算中的性能表现如何？
• RQ2 集成特征金字塔网络（FPNs）在多大程度上提升了预测准确率与可解释性？
• RQ3 图像分辨率如何影响植物覆盖度估算网络的性能？
• RQ4 在植物特定数据集上进行域内预训练与在ImageNet上进行域外预训练相比，对模型性能有何影响？
• RQ5 主要的预测误差来源是什么，特别是与植物生长、遮挡和衰老的关系？

主要发现

• 所提方法在高分辨率图像上实现了5.16%的平均绝对误差（MAE），优于作者先前的方法。
• ResNet50结合FPN在特征金字塔集成后表现出最强的性能提升，表明特征定位能力得到改善。
• 更高图像分辨率始终能提升预测准确率，表明应优先采用高分辨率图像采集。
• 除DenseNet121外，所有网络在植物特定数据集上进行域内预训练的效果均优于ImageNet预训练，表明领域相关性可提升性能。
• 时间误差分析显示，第4周误差显著上升，与植物快速生长及遮挡增加的时间点一致，可能干扰了分割任务。
• 大量误差源于网络无法区分枯死植物残渣与活体物种，尤其是在衰老阶段，可能是因为预训练数据中缺乏此类类别。