[论文解读] Animal Behavior Analysis Methods Using Deep Learning: A Survey

Edoardo Fazzari, Donato Romano+2 more|arXiv (Cornell University)|May 22, 2024

Identification and Quantification in Food被引用 6

一句话总结

对动物行为分析在音频、视觉和视音频数据中的深度学习结构与策略的综述，包括姿态估计与非姿态方法、数据集及未来方向。

ABSTRACT

Animal behavior serves as a reliable indicator of the adaptation of organisms to their environment and their overall well-being. Through rigorous observation of animal actions and interactions, researchers and observers can glean valuable insights into diverse facets of their lives, encompassing health, social dynamics, ecological relationships, and neuroethological dimensions. Although state-of-the-art deep learning models have demonstrated remarkable accuracy in classifying various forms of animal data, their adoption in animal behavior studies remains limited. This survey article endeavors to comprehensively explore deep learning architectures and strategies applied to the identification of animal behavior, spanning auditory, visual, and audiovisual methodologies. Furthermore, the manuscript scrutinizes extant animal behavior datasets, offering a detailed examination of the principal challenges confronting this research domain. The article culminates in a comprehensive discussion of key research directions within deep learning that hold potential for advancing the field of animal behavior studies.

研究动机与目标

• 解释为什么深度学习对动物行为研究具有变革性，并指出关键局限。
• 将深度学习方法分为姿态估计和非姿态估计，以进行行为分析。
• 汇编公开可用的数据集并分析它们在物种与情境方面的覆盖情况。
• 讨论数据收集、标注与部署方面的挑战，以引导未来研究。

提出的方法

• 对2020–2023年来自 Google Scholar、IEEE Xplore 和 Springer 的文章进行系统性文献综述。
• 将方法分为姿态估计（APE）和非姿态估计方法。
• 分析数据集、物种关注点以及作者的学科背景。
• 讨论深度学习在该领域的优点、局限性以及部署考虑。
• 综合新兴架构（如 DLC、LEAP、SLEAP、optiFlex、SemiMultiPose）及其对行为分析的影响。

Figure 1. a) illustrates a histogram depicting the distribution of research articles per year, focusing exclusively on papers obtained and cataloged during the initial scavenging phase. b) presents a pie chart detailing the variety of animals utilized in behavioral studies leveraging deep learning t

实验结果

研究问题

• RQ1 RQ1 在基于深度学习的行为分析中，哪些动物物种较少被考虑以及原因？
• RQ2 在文献中已有哪此深度学习方法被用于动物行为分析？
• RQ3 在此背景下，人类行为分析与动物行为分析有哪些差异？
• RQ4 存在哪些深度学习策略能够提升动物行为分析，但尚未被充分挖掘？

主要发现

• 该综述分析了2020–2023年的151篇相关文章，重点关注家畜、小鼠和神经科学相关研究。
• 姿态估计方法（DLC、LEAP、SLEAP）是许多研究的核心，针对多动物情景的架构在不断演进。
• 新兴的深度学习方法包括 OptiFlex、SemiMultiPose、Lightning Pose，以及基于 Transformer 的或半监督方法。
• 无监督和自监督技术正越来越多地用于减少标注工作量并提高泛化能力。
• 趋势是倾向于非侵入性视觉方法和多传感器融合，以减轻噪声和压力引起的数据问题。
• 该文章强调方法学与标注挑战、跨领域数据需求，以及对多样物种覆盖的需求。

Figure 2. a) shows the architecture of LEAP (Pereira et al . , 2019 ) ; b) the one exploited in T-LEAP (Russello et al . , 2022 )