[論文レビュー] MammalNet: A Large-scale Video Benchmark for Mammal Recognition and Behavior Understanding

Jun Chen, Ming Hu+6 more|arXiv (Cornell University)|Jun 1, 2023

Animal Behavior and Welfare Studies被引用数 5

ひとこと要約

MammalNet は、系統分類に基づいてアノテーションされた 18,346 本の未編集動画を含み、合計 539 時間にわたり、173 種の哺乳類と 12 種の高レベル行動をカバーする大規模な動画ベンチマークである。これにより、標準認識、構成的低ショット認識、行動検出の 3 つの新しいベンチマークが可能となり、現在のモデルが長尾分布下でも正確な認識を達成できていないことが示されたが、転移学習により未観測の動物の認識が可能であることが明らかになった。

ABSTRACT

Monitoring animal behavior can facilitate conservation efforts by providing key insights into wildlife health, population status, and ecosystem function. Automatic recognition of animals and their behaviors is critical for capitalizing on the large unlabeled datasets generated by modern video devices and for accelerating monitoring efforts at scale. However, the development of automated recognition systems is currently hindered by a lack of appropriately labeled datasets. Existing video datasets 1) do not classify animals according to established biological taxonomies; 2) are too small to facilitate large-scale behavioral studies and are often limited to a single species; and 3) do not feature temporally localized annotations and therefore do not facilitate localization of targeted behaviors within longer video sequences. Thus, we propose MammalNet, a new large-scale animal behavior dataset with taxonomy-guided annotations of mammals and their common behaviors. MammalNet contains over 18K videos totaling 539 hours, which is ~10 times larger than the largest existing animal behavior dataset. It covers 17 orders, 69 families, and 173 mammal categories for animal categorization and captures 12 high-level animal behaviors that received focus in previous animal behavior studies. We establish three benchmarks on MammalNet: standard animal and behavior recognition, compositional low-shot animal and behavior recognition, and behavior detection. Our dataset and code have been made available at: https://mammal-net.github.io.

研究の動機と目的

• 哺乳類行動認識のための大規模で系統分類に基づいた動画データセットの不足に対処すること。
• 従来のデータセットの限界、例えば規模の小ささ、系統分類に準拠したアノテーションの欠如、行動の時間的局所化の欠如を克服すること。
• 認識、低ショット一般化、行動検出のための標準化されたベンチマークを通じて、大規模な動物および行動理解を可能にすること。
• 野生生物動画データの自動分析を加速することで、保護および生態学的研究を支援すること。

提案手法

• データセットは、YouTube から未編集動画を収集し、系統分類に基づいて 17 目 69 科 173 カテゴリの哺乳類に焦点を当てて構築された。
• 生態学的および行動学的研究に適した 12 種の高レベル行動（例：狩り、食事、争う）を、原子的行動を避けるようにアノテーションした。
• 動物-行動コンポジションのレベルで訓練（70％）、検証（10％）、テスト（20％）に分割し、バランスの取れた評価を実現した。
• ActionFormer、TAGS、CoLA などのベースラインモデルは、RGB およびオプティカルフロー入力から微調整された二重ストリーム I3D モデルから抽出された特徴量を用いて評価された。
• 3 つのベンチマークを確立した：標準的な動物および行動分類、構成的低ショット認識、時間的行動検出。
• すべてのデータとコードは https://mammal-net.github.io で公開され、再現性およびコミュニティ研究を支援している。

Figure 1 : A subset of the mammal taxonomy of MammalNet. It includes 3 orders, 11 families, and 45 genera.

実験結果

リサーチクエスチョン

• RQ1 最先端のモデルは、多様で長尾分布を示すデータセット上で、大規模に哺乳類およびその高レベル行動を正確に認識できるか？
• RQ2 低ショット認識設定下で、転移学習を用いることで、未観測の動物種に一般化できる程度はどの程度か？
• RQ3 長時間で未編集の動画シーケンス内で、特定の行動を局所化する能力は、現在のモデルでどの程度効果的か？
• RQ4 動物と行動の同時認識は、別々の認識タスクと比較して性能向上をもたらすか？
• RQ5 YouTube 基盤の野生生物動画コレクションにどのようなバイアスが存在し、それらがモデルの性能および生態学的妥当性にどのように影響するか？

主な発見

• 行動検出タスクは依然として極めて困難であり、ActionFormer でも平均 mAP が 20.07 にとどまり、大幅な改善余地があることが示された。
• 動物と行動の同時認識は、別々の学習と比較して、クラスごとの行動認識精度を約 2.2% 向上させ、共有表現の利点を示した。
• 構成的低ショット認識では、既に学習済みの組み合わせの知識を活用して、未観測の動物-行動コンビネーションの一般化が可能であることが示された。
• データセットは長尾分布を示しており、特に希少な動物や行動カテゴリの正確な認識が困難であることが明らかになった。
• YouTube 基盤の動画は、人気のある行動（例：争う、食べる）や、飼育下または慣れ親しんだ動物に偏っており、野生個体群への一般化に影響を及ぼす可能性がある。
• 課題は存在するが、転移学習により、以前に未観測であった動物種の行動認識が可能であることが示され、このデータセットがゼロショットおよび少量化学習の可能性を示している。

Figure 2 : The examples for the annotated target behavior boundaries. The frames marked in red boxes denote the annotated temporal boundaries for the target behavior.