[論文レビュー] Pytorch-Wildlife: A Collaborative Deep Learning Framework for Conservation

Andrés Hernández, Zhongqi Miao+5 more|arXiv (Cornell University)|May 21, 2024

Species Distribution and Climate Change被引用数 7

ひとこと要約

Pytorch-Wildlife は、アクセス可能でスケーラブルな野生生物検出と分類のためのオープンソース PyTorch-based プラットフォームで、モデル zoo、ユーザーインターフェース、そしてアマゾンとガラパゴスでの実世界の応用を特徴とします。

ABSTRACT

The alarming decline in global biodiversity, driven by various factors, underscores the urgent need for large-scale wildlife monitoring. In response, scientists have turned to automated deep learning methods for data processing in wildlife monitoring. However, applying these advanced methods in real-world scenarios is challenging due to their complexity and the need for specialized knowledge, primarily because of technical challenges and interdisciplinary barriers. To address these challenges, we introduce Pytorch-Wildlife, an open-source deep learning platform built on PyTorch. It is designed for creating, modifying, and sharing powerful AI models. This platform emphasizes usability and accessibility, making it accessible to individuals with limited or no technical background. It also offers a modular codebase to simplify feature expansion and further development. Pytorch-Wildlife offers an intuitive, user-friendly interface, accessible through local installation or Hugging Face, for animal detection and classification in images and videos. As two real-world applications, Pytorch-Wildlife has been utilized to train animal classification models for species recognition in the Amazon Rainforest and for invasive opossum recognition in the Galapagos Islands. The Opossum model achieves 98% accuracy, and the Amazon model has 92% recognition accuracy for 36 animals in 90% of the data. As Pytorch-Wildlife evolves, we aim to integrate more conservation tasks, addressing various environmental challenges. Pytorch-Wildlife is available at https://github.com/microsoft/CameraTraps.

研究の動機と目的

• 野生生物モニタリングのためのアクセス可能でスケーラブルかつ透明性の高いディープラーニングツールのニーズに対応する。
• 保全モデルを作成、変更、共有するためのオープンソースのモジュラー フレームワークを提供する。
• データ取り込みから検出、分類、可視化までのエンドツーエンドのワークフローを可能にする。
• 生物多様性が豊かな地域での実世界の応用を示し、使いやすさと性能を検証する。

提案手法

• Pytorch-Wildlife を、モジュラーアーキテクチャを備えた PyTorch をベースにしたオープンソースのフレームワークとして導入する。
• MegaDetectorV5 を含むモデル zoo と、Amazon、Galápagos、Serengeti で訓練された3つの動物認識モデルを提供する。
• しきい値を調整可能な、単一/バッチ画像検出および単一動画検出のユーザーインターフェースを提供する。
• 訓練/検証のためにデータセットを LILA-BC に接続し、分類微調整モジュールを含める。
• データ前処理/後処理のユーティリティと可視化ツールを提供する。
• デフォルトで COCO 出力と互換性のあるレイヤーを含め、Timelapse および EcoAssist との統合オプションを提供する。

Figure 1 : Overview figure of the Pytorch-wildlife framework. First, it connects to the datasets available on LILA-BC for ease of training and validation; second, it offers detection and classification models with pretrained weights in a variety of datasets; finally, it comes with a user interface a

実験結果

リサーチクエスチョン

• RQ1 オープンソースのモジュラー フレームワークは、野生生物保全におけるディープラーニングのアクセス性と普及をどのように向上させることができるか？
• RQ2 標準データセットに対する、コンパクトな検出器（ MegaDetectorV6-compact ）と MegaDetectorV5 の性能・効率のトレードオフはどのようなものか？
• RQ3 検出から属/種の分類まで、人間の介在による検証を含む実世界のワークフローをフレームワークがサポートできるか？
• RQ4 標準化された評価とコミュニティのフィードバックを通じて、モデル zoo は透明性と比較可能性をどのように促進するか？

主な発見

Model	Parameters	Precision	Recall	mAP
MDv5	121M	0.96	0.73	0.85
MDv6-c	22M	0.92	0.85	0.84

• MDv6-compact はパラメータが 1/6 のみで、MDv5（0.73）より高いリコール（0.85）を達成。
• MDv6-compact は YOLOv9-compact を使用して、MegaDetectorV5 のトレーニングデータ上で 0.84 mAP、0.92 精度、0.85 リコールに達する。
• 検出に MegaDetectorV5 を使用すると、Amazon データセットは高信頼度サブセットで認識精度 92% の画像が 90% を占める。
• Galápagos の動画は、フレーム間の多数決によって opossum 対 non-opossum 分類で 98% の精度を達成。
• 人間を介在させる閾値を 0.98 に設定すると、高信頼の結果を提供しつつ検出の実検証を約 10% に削減。
• フレームワークは LILA-BC データセットに接続し、リーダーボードとフィードバックを備えたコミュニティ主導のモデル zoo を提供する。

Figure 2 : Pytorch-wildlife user interface. It allows the user to load detection and classification models, as well as to perform single image detection, batch image detection, and single video detection with a confidence threshold for human validation.