[论文解读] MammalNet: A Large-scale Video Benchmark for Mammal Recognition and Behavior Understanding

Jun Chen, Ming Hu+6 more|arXiv (Cornell University)|Jun 1, 2023

Animal Behavior and Welfare Studies被引用 5

一句话总结

MammalNet 是一个大规模视频基准数据集，包含 18,346 段未剪辑视频，总计 539 小时，涵盖 173 种哺乳动物类别和 12 种高层次行为，采用科学分类法进行标注。该数据集支持三项新基准：标准识别、组合式少样本识别和行为检测，表明当前模型在准确识别方面仍存在困难，尤其是在长尾分布下，但迁移学习可实现对未见动物的识别。

ABSTRACT

Monitoring animal behavior can facilitate conservation efforts by providing key insights into wildlife health, population status, and ecosystem function. Automatic recognition of animals and their behaviors is critical for capitalizing on the large unlabeled datasets generated by modern video devices and for accelerating monitoring efforts at scale. However, the development of automated recognition systems is currently hindered by a lack of appropriately labeled datasets. Existing video datasets 1) do not classify animals according to established biological taxonomies; 2) are too small to facilitate large-scale behavioral studies and are often limited to a single species; and 3) do not feature temporally localized annotations and therefore do not facilitate localization of targeted behaviors within longer video sequences. Thus, we propose MammalNet, a new large-scale animal behavior dataset with taxonomy-guided annotations of mammals and their common behaviors. MammalNet contains over 18K videos totaling 539 hours, which is ~10 times larger than the largest existing animal behavior dataset. It covers 17 orders, 69 families, and 173 mammal categories for animal categorization and captures 12 high-level animal behaviors that received focus in previous animal behavior studies. We establish three benchmarks on MammalNet: standard animal and behavior recognition, compositional low-shot animal and behavior recognition, and behavior detection. Our dataset and code have been made available at: https://mammal-net.github.io.

研究动机与目标

• 为解决哺乳动物行为识别领域缺乏大规模、基于分类学结构的视频数据集的问题。
• 克服现有数据集的局限性，如规模较小、缺乏分类学引导的标注，以及行为时序定位的缺失。
• 通过标准化的识别、少样本泛化和行为检测基准，实现大规模动物与行为理解。
• 通过加速野生动物视频数据的自动化分析，支持保护和生态学研究。

提出的方法

• 通过从 YouTube 收集未剪辑视频构建数据集，基于科学分类法聚焦于 17 个目、69 个科和 173 个类别的哺乳动物。
• 对视频标注了 12 种与生态学和行为学研究相关的高层次行为（例如：捕食、进食、打斗），避免标注原子动作。
• 在动物-行为组合层面将数据集划分为训练集（70%）、验证集（10%）和测试集（20%），以确保评估的平衡性。
• 使用在 RGB 和光流输入上微调的双流 I3D 模型提取的特征，评估了 ActionFormer、TAGS 和 CoLA 等基线模型。
• 建立了三项基准：标准动物与行为分类、组合式少样本识别和时序动作检测。
• 所有数据和代码已公开发布于 https://mammal-net.github.io，以支持可复现性和社区研究。

Figure 1 : A subset of the mammal taxonomy of MammalNet. It includes 3 orders, 11 families, and 45 genera.

实验结果

研究问题

• RQ1 最先进模型能否在多样化、长尾分布的大规模数据集上，实现对哺乳动物及其高层次行为的高精度识别？
• RQ2 在少样本识别设置下，模型通过迁移学习对未见动物物种的泛化能力如何？
• RQ3 当前模型在长时序未剪辑视频序列中定位特定行为的效率如何？
• RQ4 与独立训练相比，联合识别动物与行为是否能提升性能？
• RQ5 基于 YouTube 的野生动物视频集合存在哪些偏差，以及这些偏差如何影响模型性能和生态相关性？

主要发现

• 行为检测任务仍极具挑战，ActionFormer 的平均 mAP 仅为 20.07，表明仍有巨大改进空间。
• 联合识别动物与行为相比独立训练，使每类行为的准确率提升了约 2.2%，表明共享表征具有优势。
• 组合式少样本识别表明，模型能够利用已知组合的知识，泛化到未见的动物-行为组合。
• 该数据集呈现长尾分布，使得稀有动物类别和行为类别的准确识别尤为困难。
• 基于 YouTube 的视频存在偏向于流行行为（如打斗、进食）和圈养/习惯化动物的偏差，可能影响模型向野生种群的泛化能力。
• 尽管存在挑战，迁移学习仍可实现对未见动物物种行为的识别，凸显该数据集在零样本和少样本学习中的潜力。

Figure 2 : The examples for the annotated target behavior boundaries. The frames marked in red boxes denote the annotated temporal boundaries for the target behavior.