[论文解读] 3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking

Urs Waldmann, Alex Hoi Hang Chan+6 more|arXiv (Cornell University)|Aug 29, 2023

Animal Behavior and Welfare Studies被引用 7

一句话总结

3D-MuPPET 是一种新颖的框架，用于使用多台摄像机实现实时 3D 多鸽子姿态估计与跟踪，结合了多视角 2D 关键点检测与三角测量及身份跟踪。其在 2D 上达到最高 9.45 fps，在 3D 上达到 1.89 fps，精度与最先进方法相当，并能有效泛化至无需额外标注的户外环境，从而实现可扩展的 3D 姿态跟踪，适用于集体动物行为研究。

ABSTRACT

Markerless methods for animal posture tracking have been rapidly developing recently, but frameworks and benchmarks for tracking large animal groups in 3D are still lacking. To overcome this gap in the literature, we present 3D-MuPPET, a framework to estimate and track 3D poses of up to 10 pigeons at interactive speed using multiple camera views. We train a pose estimator to infer 2D keypoints and bounding boxes of multiple pigeons, then triangulate the keypoints to 3D. For identity matching of individuals in all views, we first dynamically match 2D detections to global identities in the first frame, then use a 2D tracker to maintain IDs across views in subsequent frames. We achieve comparable accuracy to a state of the art 3D pose estimator in terms of median error and Percentage of Correct Keypoints. Additionally, we benchmark the inference speed of 3D-MuPPET, with up to 9.45 fps in 2D and 1.89 fps in 3D, and perform quantitative tracking evaluation, which yields encouraging results. Finally, we showcase two novel applications for 3D-MuPPET. First, we train a model with data of single pigeons and achieve comparable results in 2D and 3D posture estimation for up to 5 pigeons. Second, we show that 3D-MuPPET also works in outdoors without additional annotations from natural environments. Both use cases simplify the domain shift to new species and environments, largely reducing annotation effort needed for 3D posture tracking. To the best of our knowledge we are the first to present a framework for 2D/3D animal posture and trajectory tracking that works in both indoor and outdoor environments for up to 10 individuals. We hope that the framework can open up new opportunities in studying animal collective behaviour and encourages further developments in 3D multi-animal posture tracking.

研究动机与目标

• 解决在室内和室外环境中缺乏 3D 多动物姿态估计与跟踪框架的问题。
• 通过多视角摄像机设置，实现实时 3D 姿态估计与轨迹跟踪，支持多达 10 只鸽子，达到交互速度。
• 通过从单体数据泛化至多体数据以及从实验室环境泛化至野外环境，减少标注工作量。
• 基于 3D-POP 数据集，为 3D 多动物姿态估计与跟踪提供基准。
• 证明在仅造成性能轻微下降的情况下，可将为单只动物训练的 2D 姿态估计模型应用于多体跟踪。

提出的方法

• 基于 KeypointRCNN 的 2D 姿态估计器在多台摄像机视图中检测多个鸽子的关键点和边界框。
• 通过多视角 2D 关键点检测结果应用三角测量，重建 3D 姿态。
• 通过动态 2D 检测匹配将首次帧中的全局身份分配给检测结果，后续帧则使用 2D 跟踪器（SORT）进行跟踪。
• 使用卡尔曼滤波器平滑 3D 姿态估计结果，提升时间一致性。
• 通过在单鸽子数据上进行训练，并将其应用于多鸽子和户外场景而无需微调，实现域泛化。
• 使用 3D-POP 数据集上的定量指标（包括中位数误差、正确关键点比例（PCK）以及多目标跟踪指标）对系统进行评估。

实验结果

研究问题

• RQ1 在单鸽子数据上训练的 2D 姿态估计模型能否在多鸽子跟踪中实现与最先进方法相当的 3D 姿态精度？
• RQ2 在室内实验室数据上训练的 3D 姿态估计框架能否在无需额外标注的情况下成功应用于户外实地数据？
• RQ3 与最先进 3D 姿态估计器相比，3D-MuPPET 在多鸽子场景下的推理速度和精度如何？
• RQ4 身份跟踪流程在多台摄像机之间以及随时间推移保持一致身份ID的能力有多强？
• RQ5 该框架在多大程度上支持实时、交互速度的 3D 多动物姿态估计与跟踪？

主要发现

• 在 3D-POP 数据集上，3D-MuPPET 的 2D 中位数误差为 1.85 mm，3D 中位数误差为 2.98 mm，精度与最先进方法相当。
• 框架在 2D 推理中达到 9.45 fps，在 3D 推理中达到 1.89 fps，支持交互速度的跟踪。
• 使用在单鸽子数据上训练的模型，3D-MuPPET 在多达 5 只鸽子的情况下仍能实现与最先进方法相当的 2D 和 3D 姿态估计精度，显著降低标注需求。
• 该框架在无需额外标注的情况下有效泛化至户外环境，表现出对域偏移的鲁棒性。
• 在 3D-POP 数据集上的定量跟踪评估显示，多目标跟踪的精确率与召回率表现良好。
• 使用 KeypointRCNN 进行 2D 姿态估计相比 3D-ViTPose 推理速度更快，适用于对速度要求较高的应用场景。