[论文解读] Automatically identifying, counting, and describing wild animals in camera-trap images with deep learning

Mohammed Sadegh Norouzzadeh, Anh‐Tu Nguyen+5 more|arXiv (Cornell University)|Mar 16, 2017

Advanced Image and Video Retrieval Techniques参考文献 26被引用 12

一句话总结

本文提出一种基于ResNet-152和迁移学习的深度学习系统，可自动识别、计数并描述Snapshot Serengeti数据集中48种野生动物物种在相机陷阱图像中的行为。该模型在物种识别上达到93.8%的准确率，可对320万张图像数据集中的99.3%实现自动化标注，准确率达96.6%，节省超过17,000小时的人工标注工作量。

ABSTRACT

Having accurate, detailed, and up-to-date information about the location and behavior of animals in the wild would revolutionize our ability to study and conserve ecosystems. We investigate the ability to automatically, accurately, and inexpensively collect such data, which could transform many fields of biology, ecology, and zoology into "big data" sciences. Motion sensor "camera traps" enable collecting wildlife pictures inexpensively, unobtrusively, and frequently. However, extracting information from these pictures remains an expensive, time-consuming, manual task. We demonstrate that such information can be automatically extracted by deep learning, a cutting-edge type of artificial intelligence. We train deep convolutional neural networks to identify, count, and describe the behaviors of 48 species in the 3.2-million-image Snapshot Serengeti dataset. Our deep neural networks automatically identify animals with over 93.8% accuracy, and we expect that number to improve rapidly in years to come. More importantly, if our system classifies only images it is confident about, our system can automate animal identification for 99.3% of the data while still performing at the same 96.6% accuracy as that of crowdsourced teams of human volunteers, saving more than 8.4 years (at 40 hours per week) of human labeling effort (i.e. over 17,000 hours) on this 3.2-million-image dataset. Those efficiency gains immediately highlight the importance of using deep neural networks to automate data extraction from camera-trap images. Our results suggest that this technology could enable the inexpensive, unobtrusive, high-volume, and even real-time collection of a wealth of information about vast numbers of animals in the wild.

研究动机与目标

• 自动化识别、计数并描述相机陷阱图像中的野生动物。
• 减少人工志愿者或专家进行人工标注的时间与成本。
• 证明深度学习可扩展至Snapshot Serengeti等大规模野生动物监测数据集。
• 通过加权损失、过采样和强调采样策略，解决野生动物数据集中的类别不平衡问题。
• 通过自动化图像分析实现实时或近实时生态监测。

提出的方法

• 在Snapshot Serengeti数据集提供的320万张带标签的相机陷阱图像上训练深度卷积神经网络（ResNet-152）。
• 使用ImageNet预训练权重进行迁移学习，以提升在野生动物物种上的泛化能力。
• 采用多任务学习框架，从单张图像输入中同时预测物种、数量和行为。
• 应用置信度阈值仅筛选高置信度预测，将人工审核工作量减少至数据集的0.7%。
• 实施数据增强及类别不平衡缓解技术：加权损失、过采样和强调采样。
• 使用Softmax输出层生成类别概率，解释为模型置信度分数。

实验结果

研究问题

• RQ1 深度学习模型能否在相机陷阱图像中实现与人类相当的野生动物识别与计数准确率？
• RQ2 深度学习在多大程度上可实现自动化标注，从而减少大规模野生动物监测中的人工劳动？
• RQ3 在类别不平衡的数据集中，不同策略（加权损失、过采样、强调采样）在提升稀有动物物种性能方面的有效性如何？
• RQ4 模型在部分可见、弱光或远距离等具有挑战性的图像条件下是否具备良好的泛化能力？
• RQ5 在基于模型置信度过滤预测时，自动化覆盖范围与准确率之间的权衡关系如何？

主要发现

• 该深度学习模型在Snapshot Serengeti数据集中48种动物物种的物种识别上达到93.8%的top-1准确率。
• 通过仅筛选高置信度预测，系统实现了对320万张图像数据集中99.3%的自动化标注，准确率达96.6%。
• 该系统节省了约17,000小时以上的人工标注工作量，相当于超过8.4个40小时工作周的时长。
• 强调采样方法将top-5准确率提升至98.2%，略高于基线，并使稀有类别（如犀牛、蜜獾）的性能最高提升60%。
• 加权损失和过采样显著提升了稀有类别准确率（如犀牛从接近0%提升至80%），但整体top-1准确率在使用加权损失时表现最佳。
• 模型在远距离、部分可见或弱光图像上表现最差，且部分事件因事件级标注中的噪声而被错误分类。