[논문 리뷰] Conservation AI: Live Stream Analysis for the Detection of Endangered Species Using Convolutional Neural Networks and Drone Technology

Carl Chalmers, Paul Fergus외 2명|arXiv (Cornell University)|2019. 10. 16.

Fish Ecology and Management StudiesEnvironmental Science참고 문헌 28인용 수 19

한 줄 요약

이 논문은 드론에 장착된 카메라와 최적화된 Faster R-CNN ResNet-101 모델을 사용하여 멸종 위험에 처한 리어만과 사냥과 관련된 차량을 실시간으로 탐지하는 Conservation AI를 제시한다. 각 클래스당 350장의 이미지로 훈련된 시스템은 IOU 0.50에서 평균 정밀도(mAP) 0.83를 달성하여, 상용 드론과 딥러닝을 활용한 저비용, 확장 가능한 조기 반사냥 개입 솔루션을 입증한다.

ABSTRACT

Many different species are adversely affected by poaching. In response to this escalating crisis, efforts to stop poaching using hidden cameras, drones and DNA tracking have been implemented with varying degrees of success. Limited resources, costs and logistical limitations are often the cause of most unsuccessful poaching interventions. The study presented in this paper outlines a flexible and interoperable framework for the automatic detection of animals and poaching activity to facilitate early intervention practices. Using a robust deep learning pipeline, a convolutional neural network is trained and implemented to detect rhinos and cars (considered an important tool in poaching for fast access and artefact transportation in natural habitats) in the study, that are found within live video streamed from drones Transfer learning with the Faster RCNN Resnet 101 is performed to train a custom model with 350 images of rhinos and 350 images of cars. Inference is performed using a frame sampling technique to address the required trade-off control precision and processing speed and maintain synchronisation with the live feed. Inference models are hosted on a web platform using flask web serving, OpenCV and TensorFlow 1.13. Video streams are transmitted from a DJI Mavic Pro 2 drone using the Real-Time Messaging Protocol (RMTP). The best trained Faster RCNN model achieved a mAP of 0.83 @IOU 0.50 and 0.69 @IOU 0.75 respectively. In comparison an SSD-mobilenetmodel trained under the same experimental conditions achieved a mAP of 0.55 @IOU .50 and 0.27 @IOU 0.75.The results demonstrate that using a FRCNN and off-the-shelf drones is a promising and scalable option for a range of conservation projects.

연구 동기 및 목표

• 자동화된 실시간 탐지 시스템을 통해 증가하는 야생 동물 사냥 위협에 대응한다.
• 높은 비용, 물류 제약, 반응 시간 지연 등의 전통적 반사냥 방법의 한계를 극복한다.
• 상용 드론과 딥러닝을 활용한 확장 가능하고 저비용의 솔루션을 개발하여 보존 응용 분야에 기여한다.
• 실시간 영상 스트림에서 멸종 위험에 처한 동물과 사냥과 관련된 차량을 탐지함으로써 조기 개입을 가능하게 한다.
• 최소한의 인프라로 다양한 보존 프로젝트에 배포 가능한 유연하고 상호운용 가능한 프레임워크를 구축한다.

제안 방법

• 실시간 메시징 프로토콜(RTMP)을 통해 DJI Mavic Pro 2 드론이 실시간 영상 스트림을 전송한다.
• 처리 속도와 탐지 정확도 사이의 균형을 유지하면서도 실시간 피드와 동기화를 유지하기 위해 프레임 샘플링 기법을 적용한다.
• 350장의 리어만 및 350대의 차량 이미지에 대해 ResNet-101 기반 Faster R-CNN을 활용한 전이 학습을 통해 맞춤형 객체 탐지 모델을 미세조정한다.
• Flask, OpenCV, TensorFlow 1.13를 사용하여 웹 플랫폼에서 추론 모델을 호스팅하여 실시간 처리 및 시각화를 구현한다.
• 탐지 성능의 강건성을 평가하기 위해 IOU 임계값 0.50 및 0.75에서 평균 정밀도(mAP)를 사용해 모델을 훈련하고 평가한다.
• 모델의 효과성을 검증하기 위해 동일한 실험 조건에서 SSD-Mobilenet 기준 모델과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 350장의 리어만 및 350대의 차량 이미지로 구성된 제한된 데이터셋으로 훈련된 딥러닝 모델이 실시간 드론 영상 스트림에서 신뢰할 수 있는 탐지 성능을 달성할 수 있는가?
• RQ2 동일한 조건에서 Faster R-CNN의 성능은 SSD-Mobilenet에 비해 어떻게 다른가?
• RQ3 사전 훈련된 모델을 활용한 전이 학습이 야생 보존 응용 분야에서 대규모 레이블이 부여된 데이터셋이 필요한 정도를 얼마나 줄일 수 있는가?
• RQ4 상용 드론과 오픈소스 소프트웨어를 사용하는 시스템이 실질적인 반사냥 배포에 충분한 속도와 정확도를 확보할 수 있는가?
• RQ5 실시간 야생 동물 모니터링에서 처리 속도, 탐지 정밀도, 실시간 영상 스트림과의 동기화 사이의 상충 관계는 어떤가?

주요 결과

• 최고 성능을 보인 Faster R-CNN 모델은 IOU 0.50에서 평균 정밀도(mAP) 0.83, IOU 0.75에서 0.69를 기록하여 뛰어난 탐지 성능를 입증했다.
• SSD-Mobilenet 기준 모델은 IOU 0.50에서 mAP 0.55, IOU 0.75에서 0.27로 낮은 성능을 보여, 이 작업에 대해 Faster R-CNN이 훨씬 높은 정확도를 제공함을 시사한다.
• 처리 속도와 정밀도를 균형 잡는 프레임 샘플링 전략을 통해 시스템은 실시간 영상 스트림과 성공적으로 동기화를 유지했다.
• Flask, OpenCV, TensorFlow 1.13를 사용한 배포 파이프라인은 실시간 추론 및 탐지 결과의 웹 기반 시각화를 가능하게 했다.
• 작은 데이터셋에 사전 훈련된 Faster R-CNN을 전이 학습을 통해 적용한 결과, 주요 야생 동물 및 사냥 관련 지표를 탐지하는 데 효과적임을 입증했다.
• 프레임워크는 확장 가능하고 적응 가능하며, 상용 드론과 딥러닝을 활용한 실용적이고 저비용의 보존 프로젝트 솔루션을 제공한다.