[论文解读] Computer Vision for Primate Behavior Analysis in the Wild

Richard Vogg, Timo Lüddecke+15 more|arXiv (Cornell University)|Jan 29, 2024

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

一篇前瞻性综述，评估用于在自然环境中检测、跟踪、识别以及理解灵长类动物行为的最先进计算机视觉方法，并勾勒在野外应用中实现高效学习与未来方向。

ABSTRACT

Advances in computer vision as well as increasingly widespread video-based behavioral monitoring have great potential for transforming how we study animal cognition and behavior. However, there is still a fairly large gap between the exciting prospects and what can actually be achieved in practice today, especially in videos from the wild. With this perspective paper, we want to contribute towards closing this gap, by guiding behavioral scientists in what can be expected from current methods and steering computer vision researchers towards problems that are relevant to advance research in animal behavior. We start with a survey of the state-of-the-art methods for computer vision problems that are directly relevant to the video-based study of animal behavior, including object detection, multi-individual tracking, individual identification, and (inter)action recognition. We then review methods for effort-efficient learning, which is one of the biggest challenges from a practical perspective. Finally, we close with an outlook into the future of the emerging field of computer vision for animal behavior, where we argue that the field should develop approaches to unify detection, tracking, identification and (inter)action recognition in a single, video-based framework.

研究动机与目标

• 调研与野外动物行为分析相关的最先进计算机视觉任务（检测、跟踪、识别、行动理解）。
• 讨论野外环境带来的实际挑战（遮挡、光照、相机非稳定性）以及有限的带标签数据。
• 突出高效学习方法以降低标注成本并使其在行为研究中的实际应用成为可能。
• 勾勒以视频为中心的分析路径和综合场景理解，以推进灵长类动物行为研究。

提出的方法

• 综述动物目标检测方法，包括两阶段和单阶段检测器以及基于变换器的DETR族方法。
• 解释多动物跟踪框架（检测跟踪法 vs. 查询跟踪法）及其与灵长类动物群体的相关性。
• 描述个体识别策略，包括闭集分类和开放集深度度量学习以识别个体。
• 概述行动理解范式（动作识别、时序/时空检测、动态场景图）及它们对视频骨干网和运动线索的依赖。
• 讨论面向高效性的学习策略，如迁移学习、自监督学习、弱监督/半监督学习、主动学习、合成数据以及跨模态监督。
• 建议从逐帧处理转向以视频为中心的表示和综合时空骨干网，以实现对整体行为分析。

实验结果

研究问题

• RQ1 在野外分析灵长类动物行为需要的核心计算机视觉任务是什么（检测、跟踪、识别、行动理解）？
• RQ2 如何调整现有方法以应对野生环境特有的挑战（遮挡、杂乱、光照变化、众多个体）以及有限的标注？
• RQ3 哪些高效学习策略能在保持动物行为任务性能的同时降低标注成本？
• RQ4 以视频级、集成化的方法如何超越逐帧分析来提升行动与交互理解？
• RQ5 为在可扩展框架中统一跟踪、识别和行动理解，需要哪些未来的研究方向与基准？

主要发现

• 存在一个用于整体灵长类动物行为分析的四任务框架：动物检测、多动物跟踪、个体识别和行动理解。
• 野外环境带来挑战（遮挡、杂乱、光照、相机非稳定性），降低了实验室条件下方法的适用性；对于未知个体，开放集识别很重要。
• 高效学习方法（迁移学习、自监督与弱/半监督学习、主动学习、合成数据、跨模态监督）可以降低野生动物研究的标注成本。
• 视频应被视为一等公民；转向集成的时空骨干网和场景图可以更好地捕捉野外灵长类动物群体中的行动与交互。
• 基于查询的跟踪与基于变换器的体系结构在具有挑战性的场景中实现检测与关联阶段的更好整合，从而提升多目标跟踪。