[论文解读] ChimpACT: A Longitudinal Dataset for Understanding Chimpanzee Behaviors

Xiaoxuan Ma, Stephan P. Kaufhold+7 more|arXiv (Cornell University)|Oct 25, 2023

Primate Behavior and Ecology被引用 6

一句话总结

ChimpACT 是一项大规模、纵向的视频数据集，记录了德国莱比锡动物园23只黑猩猩在2015至2018年间的活动，包含163段视频（共160,500帧），对目标检测、个体身份、姿态以及细粒度时空行为进行了丰富标注。该数据集可用于计算机视觉方法在追踪、姿态估计和动作识别方面的基准测试，为在半自然环境中研究灵长类社会发育与行为提供了独特资源。

ABSTRACT

Understanding the behavior of non-human primates is crucial for improving animal welfare, modeling social behavior, and gaining insights into distinctively human and phylogenetically shared behaviors. However, the lack of datasets on non-human primate behavior hinders in-depth exploration of primate social interactions, posing challenges to research on our closest living relatives. To address these limitations, we present ChimpACT, a comprehensive dataset for quantifying the longitudinal behavior and social relations of chimpanzees within a social group. Spanning from 2015 to 2018, ChimpACT features videos of a group of over 20 chimpanzees residing at the Leipzig Zoo, Germany, with a particular focus on documenting the developmental trajectory of one young male, Azibo. ChimpACT is both comprehensive and challenging, consisting of 163 videos with a cumulative 160,500 frames, each richly annotated with detection, identification, pose estimation, and fine-grained spatiotemporal behavior labels. We benchmark representative methods of three tracks on ChimpACT: (i) tracking and identification, (ii) pose estimation, and (iii) spatiotemporal action detection of the chimpanzees. Our experiments reveal that ChimpACT offers ample opportunities for both devising new methods and adapting existing ones to solve fundamental computer vision tasks applied to chimpanzee groups, such as detection, pose estimation, and behavior analysis, ultimately deepening our comprehension of communication and sociality in non-human primates.

研究动机与目标

• 解决非人灵长类行为领域缺乏高质量、纵向数据集的问题，尤其是在自然主义社会群体环境中的应用。
• 提供一个全面的资源，用于研究个体黑猩猩在复杂社会群体中的发展轨迹。
• 通过丰富标注的视频数据，支持计算机视觉任务中灵长类社会互动的自动化分析。
• 通过捕捉细微且真实的灵长类行为，支持对人类社会性与交流进化根源的研究。
• 促进在具有挑战性的现实世界灵长类数据集上，对追踪、姿态估计和动作检测的最先进方法进行基准测试。

提出的方法

• 在2015至2018年间，从莱比锡动物园23只黑猩猩群体的连续视频记录中收集163段视频（共160,500帧）。
• 采用焦点取样法系统记录行为，重点关注一只幼年雄性黑猩猩阿齐博（Azibo）的发展历程。
• 对手动标注实例边界框、身份标签、2D身体关键点姿态以及细粒度时空动作标签。
• 对所有帧进行追踪与身份标注，每第10帧进行姿态与动作检测标注，以平衡标注成本与覆盖范围。
• 使用私有标注平台（BasicFinder CO., Ltd.）进行一致且准确的标注，原始数据已保存以供未来使用。
• 以CC BY-NC 4.0许可发布数据集，供公众访问与未来研究使用，并计划进行版本更新与社区贡献。

实验结果

研究问题

• RQ1 如何系统性地大规模收集并标注野生型黑猩猩群体的纵向视频数据，以支持计算机视觉研究？
• RQ2 现有计算机视觉模型在复杂、动态的灵长类群体中，检测、追踪与姿态估计方面的适应程度如何？
• RQ3 在非人灵长类中，时空动作识别面临哪些关键挑战，特别是捕捉细微社会行为时？
• RQ4 个体黑猩猩（如阿齐博）的发展轨迹如何影响群体层面的社会互动动态？
• RQ5 像ChimpACT这样大规模、丰富标注的数据集，能否推动非人灵长类中少样本学习、迁移学习与行为建模的新进展？

主要发现

• ChimpACT 包含163段视频，总计160,500帧，涵盖23名个体的56,324个标注实例，可为追踪与识别方法提供稳健的基准测试。
• 数据集包含16,028个标注姿态与64,289个细粒度动作标签，涵盖多种行为，如静止、移动、携带物品及社会性梳理。
• 在ChimpACT上的实验表明，现有计算机视觉模型在姿态估计与动作检测方面面临显著挑战，原因包括遮挡、群体动态以及细微的行为线索。
• 数据集的纵向特性使得能够建模行为与社会角色的发展变化，尤其在阿齐博（从幼年到青春期）的案例中表现明显。
• ChimpACT 支持少样本学习与迁移学习方法的有意义评估，因其支持跨群体与跨时间的泛化任务。
• 该数据集以CC BY-NC 4.0许可公开发布，计划进行版本更新与社区贡献，确保长期可用性与可重复性。