Skip to main content
QUICK REVIEW

[论文解读] APT-36K: A Large-scale Benchmark for Animal Pose Estimation and Tracking

Yuxiang Yang, Junjie Yang|arXiv (Cornell University)|Jun 12, 2022
Human Pose and Action RecognitionComputer Science被引用 21
一句话总结

本论文提出 APT-36K,这是首个覆盖 30 个物种的大规模基准,用于同时进行动物姿态估计与跟踪,包含三个评测轨道(SF、IS、APT)以及广泛的基于 transformer 和 CNN 的基线。

ABSTRACT

Animal pose estimation and tracking (APT) is a fundamental task for detecting and tracking animal keypoints from a sequence of video frames. Previous animal-related datasets focus either on animal tracking or single-frame animal pose estimation, and never on both aspects. The lack of APT datasets hinders the development and evaluation of video-based animal pose estimation and tracking methods, limiting real-world applications, e.g., understanding animal behavior in wildlife conservation. To fill this gap, we make the first step and propose APT-36K, i.e., the first large-scale benchmark for animal pose estimation and tracking. Specifically, APT-36K consists of 2,400 video clips collected and filtered from 30 animal species with 15 frames for each video, resulting in 36,000 frames in total. After manual annotation and careful double-check, high-quality keypoint and tracking annotations are provided for all the animal instances. Based on APT-36K, we benchmark several representative models on the following three tracks: (1) supervised animal pose estimation on a single frame under intra- and inter-domain transfer learning settings, (2) inter-species domain generalization test for unseen animals, and (3) animal pose estimation with animal tracking. Based on the experimental results, we gain some empirical insights and show that APT-36K provides a valuable animal pose estimation and tracking benchmark, offering new challenges and opportunities for future research. The code and dataset will be made publicly available at https://github.com/pandorgan/APT-36K.

研究动机与目标

  • 创建一个大规模、质量注释完善的数据集,覆盖多样物种的单帧动物姿态估计和多帧动物姿态跟踪。
  • 在三个轨道上对具有代表性的 CNN 和视觉 Transformer 模型进行基准测试,以研究同域内/跨域迁移以及跨物种泛化。
  • 提供跨域预训练(人类、动物)的益处的洞见,以及简单的视觉 Transformer 作为姿态任务基础模型的潜力。
  • 提供一个现实且具有挑战性的测试平台,推动未来在动物行为理解和野生动物保护应用方面的研究。

提出的方法

  • 收集 2,400 条 YouTube 视频片段,覆盖 30 个物种分布在 15 个科,并对每个片段采样 15 帧以获得 36,000 帧带注释。
  • 在 COCO 风格的关键点上进行标注(每个动物约 17 个关键点),并在各帧之间标注边界框和跟踪 ID,进行多轮质量检查。
  • 将数据组织成训练/验证/测试划分,并以视频级分区避免信息泄露。
  • 基准测试三个轨道:SF(单帧姿态估计)、IS(跨物种泛化)和 APT(带跟踪的姿态估计)。
  • 使用平均精度 (AP) 和基于 OKS 的度量进行评估,遵循 MS COCO 约定;研究 ImageNet/COCO/AP-10K 预训练的迁移。

实验结果

研究问题

  • RQ1当前姿态估计模型在具有时序信息的多物种大型数据集上的迁移能力如何?
  • RQ2在对部分科进行训练、测试时未见过的科的跨物种/泛化性能如何?
  • RQ3将动物姿态估计与连续帧跟踪结合时的表现如何,哪些模型/跟踪器组合最有效?
  • RQ4不同预训练方案(ImageNet、COCO human pose、AP-10K animal pose、以及人类到动物的迁移)为 APT-36K 提供了哪些好处?

主要发现

  • APT-36K 包含 36,000 帧、来自 2,400 条片段的 53,006 个带注释实例,覆盖 30 个物种和 15 个科,可用于联合姿态估计和跟踪基准。
  • 视觉 Transformer(如 ViTPose)在单帧姿态性能上表现强劲,例如 IN1K 预训练下的 77.4 AP,人体姿态预训练下的 78.3 AP。
  • 在该数据集上,基于人体姿态数据的预训练通常比基于 AP-10K 的预训练带来更大的增益,例如 ViTPose 达到 78.3 AP(human) vs. 78.2 AP(AP-10K)。
  • 在跨物种泛化(IS 轨道)中,当在未在训练中包含的科上进行测试时,性能显著下降(例如 Cercopithecidae 在未包含的训练中测试时为 29.6 AP),凸显需要覆盖更多不同科。
  • 在 APT 轨道(带跟踪的姿态估计)中,ViTPose + ViTTrack 实现了最佳总体性能(75.8 AP),而采用固定编码器的纯 ViT 跟踪也能获得较高性能(75.5 AP)。
  • 小样本实验表明有更多数据时收益显著,尤其是对于罕见物种,而对于与训练数据具有相似特征的物种,性能提升较小。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。