[论文解读] Conservation AI: Live Stream Analysis for the Detection of Endangered Species Using Convolutional Neural Networks and Drone Technology

Carl Chalmers, Paul Fergus+2 more|arXiv (Cornell University)|Oct 16, 2019

Fish Ecology and Management StudiesEnvironmental Science参考文献 28被引用 19

一句话总结

本论文提出 Conservation AI，一种利用无人机搭载摄像头和微调后的 Faster R-CNN ResNet-101 模型实现实时检测濒危犀牛和盗猎相关车辆的系统。该系统在每类 350 张图像上进行训练，于 IOU 0.50 时达到 0.83 的平均精度均值（mAP），展示了使用现成无人机和深度学习实现早期反盗猎干预的可扩展、低成本解决方案。

ABSTRACT

Many different species are adversely affected by poaching. In response to this escalating crisis, efforts to stop poaching using hidden cameras, drones and DNA tracking have been implemented with varying degrees of success. Limited resources, costs and logistical limitations are often the cause of most unsuccessful poaching interventions. The study presented in this paper outlines a flexible and interoperable framework for the automatic detection of animals and poaching activity to facilitate early intervention practices. Using a robust deep learning pipeline, a convolutional neural network is trained and implemented to detect rhinos and cars (considered an important tool in poaching for fast access and artefact transportation in natural habitats) in the study, that are found within live video streamed from drones Transfer learning with the Faster RCNN Resnet 101 is performed to train a custom model with 350 images of rhinos and 350 images of cars. Inference is performed using a frame sampling technique to address the required trade-off control precision and processing speed and maintain synchronisation with the live feed. Inference models are hosted on a web platform using flask web serving, OpenCV and TensorFlow 1.13. Video streams are transmitted from a DJI Mavic Pro 2 drone using the Real-Time Messaging Protocol (RMTP). The best trained Faster RCNN model achieved a mAP of 0.83 @IOU 0.50 and 0.69 @IOU 0.75 respectively. In comparison an SSD-mobilenetmodel trained under the same experimental conditions achieved a mAP of 0.55 @IOU .50 and 0.27 @IOU 0.75.The results demonstrate that using a FRCNN and off-the-shelf drones is a promising and scalable option for a range of conservation projects.

研究动机与目标

• 通过自动化、实时检测系统应对野生动物盗猎日益增长的威胁。
• 克服传统反盗猎方法的局限性，如高成本、后勤限制和响应延迟。
• 开发一种可扩展、低成本的解决方案，利用现成无人机和深度学习技术用于保护工作。
• 通过在实时视频流中检测濒危动物和盗猎相关车辆，实现实时干预。
• 创建一个灵活、可互操作的框架，可在最少基础设施支持下部署于多种保护项目中。

提出的方法

• 使用 DJI Mavic Pro 2 无人机通过实时消息协议（RTMP）流式传输实时视频。
• 实施帧采样技术，在保持与实时视频流同步的前提下，平衡处理速度与检测精度。
• 基于 ResNet-101 的 Faster R-CNN 应用迁移学习，在 350 张犀牛和 350 辆车辆图像上微调自定义目标检测模型。
• 使用 Flask、OpenCV 和 TensorFlow 1.13 在网络平台上托管推理模型，实现实时处理和可视化。
• 使用 IOU 阈值为 0.50 和 0.75 的平均精度均值（mAP）对模型进行训练和评估，以衡量检测鲁棒性。
• 在相同实验条件下与 SSD-Mobilenet 基线模型进行性能对比，以验证模型有效性。

实验结果

研究问题

• RQ1 在仅 350 张犀牛和 350 辆车辆图像的有限数据集上训练的深度学习模型，是否能在实时无人机视频流中实现可靠的实时检测？
• RQ2 在相同条件下，Faster R-CNN 与 SSD-Mobilenet 在检测犀牛和车辆方面的性能如何比较？
• RQ3 在野生动物保护应用中，使用预训练模型进行迁移学习在多大程度上可减少对大规模标注数据集的需求？
• RQ4 使用现成无人机和开源软件的系统是否能实现足够快的速度和精度，以满足实际反盗猎部署需求？
• RQ5 在实时野生动物监测中，处理速度、检测精度与实时视频流同步之间存在何种权衡？

主要发现

• 表现最佳的 Faster R-CNN 模型在 IOU 0.50 时达到 0.83 的平均精度均值（mAP），在 IOU 0.75 时达到 0.69，表明检测性能出色。
• SSD-Mobilenet 基线模型的 mAP 分数显著较低，分别为 0.55（IOU 0.50）和 0.27（IOU 0.75），凸显了 Faster R-CNN 在此任务中的更高精度。
• 通过一种平衡速度与精度的帧采样策略，系统成功保持了与实时视频流的同步。
• 使用 Flask、OpenCV 和 TensorFlow 1.13 的部署管道实现了实时推理和检测结果的基于网页的可视化。
• 结果表明，使用预训练的 Faster R-CNN 并结合迁移学习，在小样本数据集上对关键野生动物和盗猎指标进行检测是有效的。
• 该框架具有可扩展性和适应性，为利用商用无人机和深度学习技术的保护项目提供了一种实用且低成本的解决方案。