[论文解读] The Herbarium Challenge 2019 Dataset

Kiat Chuan Tan, Yulong Liu+3 more|arXiv (Cornell University)|Jun 12, 2019

Smart Agriculture and AI参考文献 21被引用 26

一句话总结

本论文介绍了2019年植物标本挑战赛数据集，这是一个大规模、专家标注的植物标本图像集合，包含683种野牡丹科植物的46,469张高分辨率标本图像，旨在推动植物物种自动识别技术的发展。该数据集通过图像模糊化处理以防止模型依赖捷径学习，并通过图像缩放提升可用性，成功在FGVC6竞赛中实现89.8%的最先进测试准确率，有效应对了类别不平衡、细微形态差异以及种间微小差异等挑战。

ABSTRACT

Herbarium sheets are invaluable for botanical research, and considerable time and effort is spent by experts to label and identify specimens on them. In view of recent advances in computer vision and deep learning, developing an automated approach to help experts identify specimens could significantly accelerate research in this area. Whereas most existing botanical datasets comprise photos of specimens in the wild, herbarium sheets exhibit dried specimens, which poses new challenges. We present a challenge dataset of herbarium sheet images labeled by experts, with the intent of facilitating the development of automated identification techniques for this challenging scenario.

研究动机与目标

• 通过实现植物标本的自动化识别，加速物种发现进程，因为这些标本对于记录植物生物多样性至关重要。
• 解决从干燥保存的植物标本上识别植物物种的挑战，这些标本在纹理、颜色和形态上与野外植物图像存在显著差异。
• 创建一个反映真实世界标本分布的基准数据集，具有高度的类别不平衡性，以及显著的种内和种间变异。
• 通过遮蔽图像中的文字和条形码来防止模型依赖捷径学习，同时保留关键形态特征以支持分类。
• 支持深度学习模型的开发，使其能够泛化至未见过的物种，并在物种灭绝危机持续加剧的背景下提升物种描述的速度。

提出的方法

• 该数据集源自780万张纽约植物园（NYBG）的植物标本，从中筛选并经专家验证了683种野牡丹科植物的46,469张图像。
• 图像通过PhotoOCR检测出文字和条形码后，使用Heavy Gaussian Blend算法进行模糊处理，以防止模型依赖元数据。
• 通过将图像最大尺寸缩放到1024像素并保持长宽比，创建了下采样版本的数据集，总大小从52GB减少至2.3GB。
• 在物种层级上将数据集按75%训练集、5%验证集和20%测试集进行划分，以确保各划分间分布均衡。
• 该挑战赛作为FGVC6的一部分在Kaggle平台举办，于CVPR19举行，参赛者使用了SeResNeXt和ResNet等模型，并结合数据增强与焦点损失等损失函数。
• 表现最佳的模型采用了集成方法、可变形卷积，以及随机擦除和iSQRT等技术，以提升泛化能力和准确率。

实验结果

研究问题

• RQ1 尽管存在高度类别不平衡和细微形态差异，深度学习模型是否仍能实现对植物标本的高精度分类？
• RQ2 模型在多大程度上依赖于标本上的非生物线索（如条形码和文字）？如何有效缓解此类依赖？
• RQ3 在每个物种训练样本有限的专用植物标本数据集上微调时，ImageNet和iNaturalist预训练的最先进模型表现如何？
• RQ4 在本数据集上训练的模型是否能泛化至未见过的物种？哪些技术能提升零样本或少样本泛化能力？
• RQ5 图像预处理——特别是对元数据的模糊处理——对物种识别中模型性能和鲁棒性有何影响？

主要发现

• 2019年植物标本挑战赛在私有测试集上实现了89.8%的最高测试准确率，证明了从植物标本图像中实现高精度自动化物种识别的可行性。
• 冠军方法使用了五种模型的集成，包括SeResNeXt-50、SeResNeXt-101和ResNet-152，均基于ImageNet和iNaturalist预训练进行训练。
• 采用类别平衡的焦点损失与标准数据增强技术，显著提升了在高度不平衡数据集上的性能。
• 对文字和条形码进行模糊处理的预处理步骤，有效减少了模型对元数据的依赖，确保模型学习的是生物特征而非非生物线索。
• 下采样后的数据集（2.3GB）实现了高效的训练与推理，使完整数据集可被广大研究人员和机构广泛使用。
• 在2019年iNaturalist挑战赛中，仅有两个物种与本植物标本数据集重叠，表明该数据集在物种识别研究中具有独特且互补的特性。