[论文解读] Fine-Grained Visual Classification of Plant Species In The Wild: Object Detection as A Reinforced Means of Attention

Matthew Keaton, Ram J. Zaveri+4 more|arXiv (Cornell University)|Jun 3, 2021

Species Distribution and Climate Change参考文献 36被引用 6

一句话总结

本文提出一种自下而上的方法，通过使用目标检测定位关键植物器官（叶片、花朵、果实、茎、高密度叶HDL），并融合器官特异性分类器的预测结果，实现野外细粒度植物物种识别。该方法采用求和规则融合，取得79.36%的准确率，优于单一器官分类器和全图ResNet-18基线模型，同时发布了一个公开的长尾数据集，用于器官检测与基于器官的分类任务。

ABSTRACT

Plant species identification in the wild is a difficult problem in part due to the high variability of the input data, but also because of complications induced by the long-tail effects of the datasets distribution. Inspired by the most recent fine-grained visual classification approaches which are based on attention to mitigate the effects of data variability, we explore the idea of using object detection as a form of attention. We introduce a bottom-up approach based on detecting plant organs and fusing the predictions of a variable number of organ-based species classifiers. We also curate a new dataset with a long-tail distribution for evaluating plant organ detection and organ-based species identification, which is publicly available.

研究动机与目标

• 解决从野外图像中进行细粒度植物物种识别时面临的高数据可变性与长尾类别分布问题。
• 通过使用目标检测定位具有判别性的植物器官，提升对背景噪声和类内差异的鲁棒性。
• 开发一种融合框架，整合多个基于器官的分类器预测结果，以提升整体物种识别准确率。
• 构建并发布一个新的长尾数据集，用于评估植物器官检测与基于器官的物种分类任务。

提出的方法

• 采用自下而上的方法，利用目标检测器在野外图像中定位植物器官（叶片、花朵、果实、茎、高密度叶）。
• 将每个检测到的感兴趣区域（ROI）输入至对应器官的物种分类器，该分类器基于器官特异性特征进行训练。
• 应用融合策略（求和规则、乘积规则或投票）将各器官的分类概率聚合为最终的图像级预测结果。
• 通过监督目标检测减少对无监督注意力机制的依赖，从而在长尾设置下提升模型鲁棒性。
• 构建了一个包含1,000个物种、具有长尾分布的新数据集，包含3,568个叶片样本和1,122个果实样本，并对五类器官进行标注。
• 评估采用COCO风格的平均精度（AP）进行检测任务评估，分类任务采用准确率，同时对融合规则进行消融实验。

实验结果

研究问题

• RQ1 目标检测能否作为野外细粒度植物物种识别中更鲁棒的、有监督的注意力形式？
• RQ2 与单图或单器官方法相比，融合多个基于器官的分类器预测结果在多大程度上提升了整体物种识别准确率？
• RQ3 真实世界植物图像数据中的长尾分布在多大程度上影响了器官检测与基于器官的分类性能？
• RQ4 基于自下而上、器官定位的方法能否缓解野外植物图像识别中数据可变性与背景杂乱带来的负面影响？

主要发现

• 所提方法在使用求和规则融合时达到79.36%的物种识别准确率，优于ResNet-18基线模型的69.65%。
• 在三种测试的融合方法中，求和规则融合策略取得了最高准确率，证明了其在有效聚合多个器官预测结果方面的优势。
• 基于器官的分类器在常见器官上表现优异（如花朵准确率为75.24%），但在稀有器官上性能显著下降（如茎为58.24%，HDL为34.21%），反映出数据稀缺问题。
• 器官检测器在新数据集上总体AP为42.9%，在叶片（40.9%）和茎（74.0%）上表现较好，表明对较小或不明显的器官检测仍具挑战。
• 该数据集表现出显著的长尾分布特征，161个物种拥有完整的ROI数据且至少包含130个叶片样本，但许多物种的器官标注数量极少。
• 尽管检测性能中等，融合机制仍能有效过滤误检，并利用未标注的检测结果，从而保持了较高的最终准确率。