[论文解读] AP-10K: A Benchmark for Animal Pose Estimation in the Wild

Hang Yu, Yufei Xu+4 more|arXiv (Cornell University)|Aug 28, 2021

Human Pose and Action Recognition参考文献 37被引用 35

一句话总结

AP-10K 是一个大规模哺乳动物姿态估计基准，拥有跨越 23 科和 54 物种的 10,015 张有标签图像，评估监督学习、从人类姿态估计的跨域迁移、以及同科内/跨科泛化。

ABSTRACT

Accurate animal pose estimation is an essential step towards understanding animal behavior, and can potentially benefit many downstream applications, such as wildlife conservation. Previous works only focus on specific animals while ignoring the diversity of animal species, limiting the generalization ability. In this paper, we propose AP-10K, the first large-scale benchmark for mammal animal pose estimation, to facilitate the research in animal pose estimation. AP-10K consists of 10,015 images collected and filtered from 23 animal families and 54 species following the taxonomic rank and high-quality keypoint annotations labeled and checked manually. Based on AP-10K, we benchmark representative pose estimation models on the following three tracks: (1) supervised learning for animal pose estimation, (2) cross-domain transfer learning from human pose estimation to animal pose estimation, and (3) intra- and inter-family domain generalization for unseen animals. The experimental results provide sound empirical evidence on the superiority of learning from diverse animals species in terms of both accuracy and generalization ability. It opens new directions for facilitating future research in animal pose estimation. AP-10k is publicly available at https://github.com/AlexTheBad/AP10K.

研究动机与目标

• 解决缺乏用于对未知物种泛化的大规模、多样化动物姿态数据集的问题。
• 提供一个按分类学组织的基准，用于研究同家族内部和跨家族的泛化。
• 在多个轨道上基准化代表性姿态估计模型，以评估预训练效果和迁移学习。
• 通过按科/物种标注的辅助未标记图像，启用半监督和自监督学习探索。

提出的方法

• 从公开来源收集并整理一个大规模、按分类学组织的动物图像数据集。
• 以 COCO 风格格式对 10,015 张图像进行标注，每个动物 17 个关键点，背景类型 8 类，进行多轮质量检查。
• 按科和物种组织数据，以实现同科内和跨科的评估。
• 在三个轨道上评估代表性姿态估计模型：监督学习（SL）、从人类姿态估计的跨域迁移学习（CD-TL），以及同科内/跨科领域泛化（DG）。
• 研究预训练（ImageNet、COCO）和训练计划对性能的影响；分析跨域迁移差距以及少样本/迁移学习情景。

实验结果

研究问题

• RQ1 在人类姿态模型在 AP-10K 上的动物姿态估计任务中的表现如何？
• RQ2 在多样化动物物种上进行训练是否会提高准确性并对未见动物产生泛化？
• RQ3 在一个大型且多样化的数据集上进行预训练（ImageNet 或 COCO 人类姿态）对动物姿态估计的影响是什么？
• RQ4 在某些物种上训练、在其他物种上测试时，同科内和跨科的泛化表现如何？
• RQ5 从人类姿态估计到动物姿态估计的跨域迁移是否能弥补动物数据有限的问题，训练计划如何影响这一点？

主要发现

• AP-10K 包含跨越 23 科和 54 物种的 10,015 张有标签图像，约 5 万张未标记图像可用于半监督/自监督。
• 每个实例定义 17 个动物关键点，8 类背景，使用 COCO 格式标注，并由 13 位标注者进行仔细校验。
• 在 ImageNet 上的预训练可以提高 SL 轨道的性能，但从零开始训练时，较长的训练时间表可能会缩小这一差距。
• 从人类姿态估计到动物姿态估计的跨域迁移在给定更长的微调时间时有帮助（在某些设置中接近或超过 ImageNet 预训练）。
• 同科内和跨科泛化表明在多种物种上进行训练可以增强特征表示，在跨科、对未见物种的测试中表现不同；更多样的物种数据通常会提升泛化。
• 数据集在科和物种之间呈现长尾分布，便于少样本学习研究并具有挑战性的一般化任务。
• 跨科迁移和少样本实验表明，即使只有少量微调数据也能显著提升新物种的性能。