[논문 리뷰] Pytorch-Wildlife: A Collaborative Deep Learning Framework for Conservation

Andrés Hernández, Zhongqi Miao외 5명|arXiv (Cornell University)|2024. 05. 21.

Species Distribution and Climate Change인용 수 7

한 줄 요약

Pytorch-Wildlife는 접근 가능하고 확장 가능한 야생동물 탐지 및 분류를 위한 오픈 소스 PyTorch 기반 플랫폼으로, 모델 Zoo, 사용자 인터페이스, 그리고 Amazon과 Galápagos의 실세계 응용을 특징으로 한다.

ABSTRACT

The alarming decline in global biodiversity, driven by various factors, underscores the urgent need for large-scale wildlife monitoring. In response, scientists have turned to automated deep learning methods for data processing in wildlife monitoring. However, applying these advanced methods in real-world scenarios is challenging due to their complexity and the need for specialized knowledge, primarily because of technical challenges and interdisciplinary barriers. To address these challenges, we introduce Pytorch-Wildlife, an open-source deep learning platform built on PyTorch. It is designed for creating, modifying, and sharing powerful AI models. This platform emphasizes usability and accessibility, making it accessible to individuals with limited or no technical background. It also offers a modular codebase to simplify feature expansion and further development. Pytorch-Wildlife offers an intuitive, user-friendly interface, accessible through local installation or Hugging Face, for animal detection and classification in images and videos. As two real-world applications, Pytorch-Wildlife has been utilized to train animal classification models for species recognition in the Amazon Rainforest and for invasive opossum recognition in the Galapagos Islands. The Opossum model achieves 98% accuracy, and the Amazon model has 92% recognition accuracy for 36 animals in 90% of the data. As Pytorch-Wildlife evolves, we aim to integrate more conservation tasks, addressing various environmental challenges. Pytorch-Wildlife is available at https://github.com/microsoft/CameraTraps.

연구 동기 및 목표

• 야생동물 모니터링을 위한 접근 가능하고 확장 가능하며 투명한 딥 러닝 도구에 대한 필요를 해결한다.
• 보전 모델을 만들고 수정하며 공유할 수 있는 오픈 소스 모듈형 프레임워크를 제공한다.
• 데이터 수집에서 탐지, 분류 및 시각화에 이르는 엔드 투 엔드 워크플로를 가능하게 한다.
• 생물다양성이 풍부한 지역에서 실세계 활용 사례를 시연하여 사용성 및 성능을 검증한다.

제안 방법

• Pytorch-Wildlife를 PyTorch 기반의 모듈식 아키텍처를 가진 오픈 소스 프레임워크로 소개한다.
• MegaDetectorV5를 포함한 모델 Zoo와 Amazon, Galápagos, Serengeti에서 학습된 세 가지 동물 인식 모델을 제공한다.
• 조정 가능한 임계값으로 단일/배치 이미지 탐지 및 단일 비디오 탐지를 위한 사용자 인터페이스를 제공한다.
• 학습/검증을 위해 데이터세트를 LILA-BC에 연결하고 분류 미세 조정 모듈을 포함한다.
• 데이터 전처리/후처리 유틸리티 및 시각화 도구를 제공한다.
• 기본적으로 COCO 출력과의 호환 계층을 포함하고 Timelapse 및 EcoAssist와의 통합 옵션을 제공한다.

Figure 1 : Overview figure of the Pytorch-wildlife framework. First, it connects to the datasets available on LILA-BC for ease of training and validation; second, it offers detection and classification models with pretrained weights in a variety of datasets; finally, it comes with a user interface a

실험 결과

연구 질문

• RQ1 오픈 소스 모듈형 프레임워크가 야생동물 보전에 있어 딥 러닝의 접근성과 채택을 어떻게 개선할 수 있는가?
• RQ2 Compact detector ( MegaDetectorV6-compact )와 MegaDetectorV5를 표준 데이터셋에서 비교할 때 성능 및 효율성의 trade-off는 무엇인가?
• RQ3 프레임워크가 탐지에서 속(genus)/종(classification)까지 인간의 개입(휴먼 인 더 루프) 검증을 포함한 실세계 워크플로를 지원할 수 있는가?
• RQ4 표준화된 평가와 커뮤니티 피드백을 통해 모델 Zoo가 투명성과 비교 가능성을 어떻게 촉진하는가?

주요 결과

Model	Parameters	Precision	Recall	mAP
MDv5	121M	0.96	0.73	0.85
MDv6-c	22M	0.92	0.85	0.84

• MDv6-compact는 매개변수의 1/6에 불과한 22M vs 121M로 MDv5(0.73)보다 더 높은 recall(0.85)을 달성한다.
• MDv6-compact 모델은 MegaDetectorV5 학습 데이터에서 0.84 mAP로 0.92 precision 및 0.85 recall을 달성하며, YOLOv9-compact를 사용한다.
• 탐지에 MegaDetectorV5를 사용하면 Amazon 데이터셋에서 상위 신뢰도 부분에서 이미지의 90%가 인식 정확도 92%를 얻는다.
• Galápagos 비디오는 프레임 간 다수결을 통해 opossum 대 non-opossum 분류에서 98% 정확도를 달성한다.
• 휴먼 인 더 루프 임계값 0.98은 높은 신뢰도 결과를 제공하면서 검증을 탐지의 약 10%로 줄인다.
• 프레임워크는 LILA-BC 데이터셋과 연동되고 커뮤니티 주도형 모델 Zoo와 리더보드 및 피드백을 제공한다.

Figure 2 : Pytorch-wildlife user interface. It allows the user to load detection and classification models, as well as to perform single image detection, batch image detection, and single video detection with a confidence threshold for human validation.