[论文解读] A Novel Dataset for Keypoint Detection of quadruped Animals from Images

Prianka Banik, Lin Li+1 more|arXiv (Cornell University)|Aug 31, 2021

Human Pose and Action Recognition参考文献 26被引用 9

一句话总结

本文介绍了 AwA Pose，一个新颖的大规模数据集，包含35种四足动物和每只动物39个密集关键点，可实现跨多种物种的鲁棒关键点检测。在该数据集上训练的最先进深度学习模型在可见和不可见动物上均表现出色，展示了对具有复杂姿态和遮挡的新物种的强大泛化能力。

ABSTRACT

In this paper, we studied the problem of localizing a generic set of keypoints across multiple quadruped or four-legged animal species from images. Due to the lack of large scale animal keypoint dataset with ground truth annotations, we developed a novel dataset, AwA Pose, for keypoint detection of quadruped animals from images. Our dataset contains significantly more keypoints per animal and has much more diverse animals than the existing datasets for animal keypoint detection. We benchmarked the dataset with a state-of-the-art deep learning model for different keypoint detection tasks, including both seen and unseen animal cases. Experimental results showed the effectiveness of the dataset. We believe that this dataset will help the computer vision community in the design and evaluation of improved models for the generalized quadruped animal keypoint detection problem.

研究动机与目标

• 解决计算机视觉领域中四足动物关键点检测缺乏大规模、多样化数据集的问题。
• 克服现有数据集仅关注少数物种或仅包含面部关键点的局限性。
• 支持对可见和不可见四足动物均适用的通用关键点检测模型的训练与评估。
• 通过密集的全身关键点标注，支持三维重建、动作识别和部件分割等下游任务。
• 提供一个标准化评估指标（PCKB）的基准，用于评估动物关键点检测中的零样本泛化能力。

提出的方法

• 通过从 AwA 数据集中提取图像，并为35种四足动物的39个标准化关键点进行标注，构建了 AwA Pose 数据集。
• 定义了一个通用的关键点集合，涵盖所有主要身体部位（如头部、耳朵、四肢、尾巴、角等），以支持全身分析任务。
• 采用尺度不变的评估指标 PCKB，其中正确性由预测关键点与真实关键点位置之间的距离相对于动物边界框对角线的比例决定。
• 使用 HRNet（一种最先进深度学习模型）进行关键点检测，以评估该数据集在可见和不可见动物类别上的性能表现。
• 实施多尺度阈值评估（PCKB@0.001、PCKB@0.0005、PCKB@0.0001），以在不同容差水平下评估检测精度。
• 通过包含具有极端体型（如长颈鹿、大象、兔子）和多种姿态（包括遮挡和复杂视角）的动物，确保数据集的多样性。

实验结果

研究问题

• RQ1 在大规模、多样化动物关键点数据集上训练的深度学习模型，能否泛化到形态迥异的未见四足动物？
• RQ2 在复杂姿态和遮挡条件下，关键点检测性能在不同身体部位（如上半身与下半身）之间有何差异？
• RQ3 与仅包含面部或稀疏关键点的数据集相比，密集的全身关键点标注在多大程度上提升了模型的泛化能力？
• RQ4 所提出的 PCKB 评估指标在衡量不同体型和形状动物的关键点检测精度方面是否有效？
• RQ5 该数据集是否支持对训练集中未出现的动物（尤其是具有特殊解剖特征的动物，如长颈、长鼻、长尾）实现稳健的零样本推理？

主要发现

• 模型在上半身关键点（如面部特征）上取得了较高的 PCKB 分数（例如 PCKB@0.001 > 0.85），表明在较不模糊区域具有出色的定位精度。
• 下半身关键点（尤其是脚掌）的 PCKB 值较低但仍在可接受范围内，且在小型动物（如兔子和松鼠）中性能显著下降，主要由于遮挡和尺寸过小。
• 模型对未见动物的泛化效果良好，零样本推理的 PCKB 值与可见动物接近，证明了其强大的泛化能力。
• 失败案例主要源于极端遮挡或非正前方视角（如俯视图），这些情况对模型的空间推理能力构成挑战。
• PCKB@0.0005 的热力图可视化显示，上半身关键点表现一致（深蓝色），而下半身关键点表现较差（浅蓝色），尤其在高度灵活或体型较小的动物中更为明显。
• PCKB 指标有效捕捉了不同体型动物的模型性能，因其将阈值按边界框对角线进行归一化，确保了尺度不变性。