[论文解读] Efficient Pipeline for Camera Trap Image Review

Sara Beery, Dan Morris+1 more|arXiv (Cornell University)|Jul 15, 2019

Advanced Image and Video Retrieval Techniques参考文献 15被引用 108

一句话总结

提出一种模块化管道，利用通用动物检测器在摄像头陷阱图像中定位动物，并在裁剪后的动物上训练项目特定分类器，以提升跨区域性能并加速审核。

ABSTRACT

Biologists all over the world use camera traps to monitor biodiversity and wildlife population density. The computer vision community has been making strides towards automating the species classification challenge in camera traps, but it has proven difficult to to apply models trained in one region to images collected in different geographic areas. In some cases, accuracy falls off catastrophically in new region, due to both changes in background and the presence of previously-unseen species. We propose a pipeline that takes advantage of a pre-trained general animal detector and a smaller set of labeled images to train a classification model that can efficiently achieve accurate results in a new region.

研究动机与目标

• 推动在不同物种分布区域提升摄像头陷阱图像注释效率。
• 利用通用动物检测器对动物进行定位，以降低人工审核工作量。
• 使用裁剪后的动物图像训练项目特定分类器，以简化背景处理。
• 提供可扩展的管道，便于新组织和数据集的接入。

提出的方法

• 使用经过预训练的通用动物检测器来定位来自不同区域的图像中的动物。
• 如果检测器的准确性不足，收集一小部分带注释的数据集以微调检测器并提升区域性能。
• 裁剪检测到的动物，并在这些裁剪上训练项目特定分类器，使用提供的物种标签。
• 将数据导入 COCO-Camera Traps 格式以标准化注释和位置信息。
• 对新数据应用检测器和分类器，以加速验证和审核（例如，可视化检测结果，优先处理高置信度图像）。

实验结果

研究问题

• RQ1 单个通用检测器是否能够在跨区域和未知物种情境中准确定位动物？
• RQ2 用检测器定位动物是否简化后续物种分类并减少人工审核工作量？
• RQ3 用少量带标签的数据微调检测器在新区域上的自适应效果如何？
• RQ4 该管道在真实项目中的整体审核工作量影响如何？

主要发现

• 检测器在各区域的动物检测上达到的平均精度介于 0.885 到 0.988。
• 在过滤不自信的检测时，该管道将大约 80% 的图像从人工审核中剔除。
• 雪景和夜间图像由检测器在无需对这些条件重新训练的情况下很好地处理；一些来自树枝/岩石的误检通过后处理得到缓解。
• 在六个爱达荷州区域共处理 480 万张图像，使用 16 台节点每台节点一块 GPU，耗时不到三天。
• 一旦生成裁剪区，项目特定物种分类的初步结果有望。