[论文解读] MausHaus Mathis Lab

Ye, Shaokai, Filippova, Anastasiia+6 more|arXiv (Cornell University)|Mar 14, 2022

Animal Behavior and Welfare Studies被引用 14

一句话总结

本文提出 SuperAnimal，一种用于动物姿态估计的统一基础模型，可在无需人工标注标签的情况下实现跨 45 余种物种的零样本推理。通过使用通用数据转换器、关键点梯度掩码和记忆回放技术，SuperAnimal 在多样且标注不一致的数据集上进行训练，同时避免灾难性遗忘，相比以往的迁移学习方法实现 10–100 倍的数据效率提升，并在六个姿态估计基准上达到最先进性能。

ABSTRACT

Please see the full DataSheet that accomanies Ye et al. Nature Communications 2024

研究动机与目标

• 解决在多样化动物物种和标注规范下缺乏通用且可复用的姿态估计模型的问题。
• 克服在合并具有不一致关键点命名和部分关键点覆盖的数据集时所面临的挑战。
• 开发一种方法，在不平衡、异构的数据输入下训练统一模型，同时避免灾难性遗忘。
• 实现高性能、高数据效率的微调以及无监督视频适应，以提升时间稳定性和准确性。
• 为研究人员提供即插即用的解决方案，使其可使用预训练模型，仅需极少标注或重新训练。

提出的方法

• 引入通用数据转换器，统一不同命名方案和关键点集合的数据集之间的关键点空间。
• 实施关键点梯度掩码，防止在关键点缺失或部分标注的数据集上训练时模型崩溃。
• 应用记忆回放技术，保留先前见过的关键点分布知识，减轻灾难性遗忘。
• 在推理阶段采用空间金字塔搜索策略，以适应不同动物体型和相机视角。
• 开发一种无监督视频适应方法，利用伪标签减少时间抖动并提升性能，而无需目标标注。
• 利用任务感知微调协议，在保留 ImageNet 预训练编码器中的可迁移视觉特征的同时，更新解码器中的姿态先验。

实验结果

研究问题

• RQ1 是否可以无需人工标注标签，在涵盖 45 余种物种的多样化、标注不一致的姿态数据集上训练统一的基础模型？
• RQ2 在训练不平衡、部分重叠的关键点数据集时，如何防止灾难性遗忘？
• RQ3 与现有迁移学习方法相比，SuperAnimal 方法在多大程度上提升了数据效率？
• RQ4 无监督视频适应是否能显著减少时间抖动，并提升视频序列中姿态估计的鲁棒性？
• RQ5 零样本推理在下游任务（如行为分类和步态分析）中的泛化能力如何？

主要发现

• SuperAnimal 模型在六个姿态估计基准上达到最先进性能，包括 TriMouse 和 DLC-Openfield OOD 数据集。
• 经过微调后，SuperAnimal 模型相比基线迁移学习方法实现 10–100 倍的数据效率提升，仅需 1–152 幅图像即可实现优异性能。
• 记忆回放有效防止灾难性遗忘，在 TriMouse 基准上相比非回放基线，性能下降减少了 21.03 倍。
• 无监督视频适应将关键点抖动最多减少 6.61 单位（p < 0.0001），在所有测试物种（包括小鼠、马和麋鹿）中均取得显著性能提升。
• 零样本 SuperAnimal 模型在 13 个下游动作分割任务中表现与官方 MABe 姿态数据相当（t = -0.02，p = 0.99），展现出强大的泛化能力。
• 该方法仅使用 1% 的训练数据，即可达到全监督模型 97.6% 的性能，凸显出卓越的数据效率。