[论文解读] Cross-Domain Adaptation for Animal Pose Estimation

Jinkun Cao, Hongyang Tang+4 more|arXiv (Cornell University)|Aug 16, 2019

Human Pose and Action Recognition参考文献 55被引用 8

一句话总结

本文提出了一种基于有限标注动物数据的跨域自适应框架，利用人体姿态数据集作为先验知识，实现动物姿态估计。通过结合弱监督与半监督域自适应（WS-CDA）和渐进式伪标签优化（PPLO），该方法在未见动物物种上实现了53.1 mAP的性能，且无需这些类别的任何姿态标注数据，接近人类水平的准确率。

ABSTRACT

In this paper, we are interested in pose estimation of animals. Animals usually exhibit a wide range of variations on poses and there is no available animal pose dataset for training and testing. To address this problem, we build an animal pose dataset to facilitate training and evaluation. Considering the heavy labor needed to label dataset and it is impossible to label data for all concerned animal species, we, therefore, proposed a novel cross-domain adaptation method to transform the animal pose knowledge from labeled animal classes to unlabeled animal classes. We use the modest animal pose dataset to adapt learned knowledge to multiple animals species. Moreover, humans also share skeleton similarities with some animals (especially four-footed mammals). Therefore, the easily available human pose dataset, which is of a much larger scale than our labeled animal dataset, provides important prior knowledge to boost up the performance on animal pose estimation. Experiments show that our proposed method leverages these pieces of prior knowledge well and achieves convincing results on animal pose estimation.

研究动机与目标

• 解决动物姿态估计在训练与评估中缺乏大规模、高质量标注数据集的问题。
• 通过从人体姿态数据中迁移知识，缓解人体与动物姿态估计之间的域偏移问题。
• 利用极少的标注数据，提升对未见动物物种的姿态估计性能。
• 开发一种鲁棒的自适应机制，融合人体姿态先验与有限的动物姿态标注。
• 通过自监督伪标签方法，实现动物姿态估计在跨物种间的有效泛化。

提出的方法

• 提出一种弱监督与半监督跨域自适应（WS-CDA）框架，包含特征提取器、域判别器和关键点估计器，通过对抗方式联合训练。
• 以预训练的人体姿态模型作为初始化，并使用少量标注的动物姿态数据进行微调。
• 提出一种基于渐进式伪标签的优化策略（PPLO），将高置信度预测结果作为未标注目标动物数据的伪标签。
• 应用自步学习机制，优先选择可靠伪标签，降低低置信度预测带来的噪声影响。
• 通过交替训练关键点估计器与域判别器，稳定优化过程并提升域对齐效果。
• 将新动物姿态数据集的标注格式对齐至主流人体姿态数据集（如COCO），以促进人体先验知识的便捷集成。

实验结果

研究问题

• RQ1 能否有效利用大规模人体姿态数据集的知识，提升未见物种动物姿态估计的性能？
• RQ2 在仅使用少量标注动物数据的前提下，如何缓解人体与动物姿态之间的域偏移问题？
• RQ3 基于高置信度预测的伪标签能否在无任何真实标注的情况下，提升模型在未见动物类别上的泛化能力？
• RQ4 对抗性域自适应与渐进式伪标签的结合是否优于标准域自适应基线方法？
• RQ5 当原始姿态标注被扭曲时，基于GAN的数据增强（如CycleGAN）对动物姿态估计性能有何影响？

主要发现

• 所提出的WS-CDA+PPLO方法在未见动物物种（如马、牛、绵羊）上实现了53.1 mAP，且无需这些类别的任何姿态标注数据。
• 在包含五个标注动物类别的测试集上，该方法仅使用少量动物标注数据，即达到65.7 mAP的性能。
• 仅在人体数据上预训练并仅在动物数据上微调的模型表现较差，表明必须通过域自适应来避免人体特异性特征偏差。
• 基于GAN的数据增强（如CycleGAN）会因姿态标注被扭曲而降低性能，导致原始标注失效。
• 所提方法在未见物种上显著优于强基线方法，如CycleGAN+PL、域混淆方法和残差迁移方法。
• 消融实验证实，WS-CDA与PPLO均不可或缺，完整模型管道显著优于各消融变体。