[论文解读] From Synthetic to Real: Unsupervised Domain Adaptation for Animal Pose Estimation

Chen Li, Gim Hee Lee|arXiv (Cornell University)|Mar 27, 2021

Human Pose and Action Recognition参考文献 50被引用 8

一句话总结

本文提出了一种用于动物姿态估计的新型无监督域自适应框架，通过多尺度域自适应模块（MDAM）减少合成数据与真实数据之间的域差距。该方法引入了一种在线粗到细伪标签更新策略，结合自蒸馏与均值教师网络，逐步替换噪声较大的初始伪标签，在TigDog和VisDA2019数据集上实现了最先进性能，同时在未见动物类别和域上表现出良好的泛化能力。

ABSTRACT

Animal pose estimation is an important field that has received increasing attention in the recent years. The main challenge for this task is the lack of labeled data. Existing works circumvent this problem with pseudo labels generated from data of other easily accessible domains such as synthetic data. However, these pseudo labels are noisy even with consistency check or confidence-based filtering due to the domain shift in the data. To solve this problem, we design a multi-scale domain adaptation module (MDAM) to reduce the domain gap between the synthetic and real data. We further introduce an online coarse-to-fine pseudo label updating strategy. Specifically, we propose a self-distillation module in an inner coarse-update loop and a mean-teacher in an outer fine-update loop to generate new pseudo labels that gradually replace the old ones. Consequently, our model is able to learn from the old pseudo labels at the early stage, and gradually switch to the new pseudo labels to prevent overfitting in the later stage. We evaluate our approach on the TigDog and VisDA 2019 datasets, where we outperform existing approaches by a large margin. We also demonstrate the generalization ability of our model by testing extensively on both unseen domains and unseen animal categories. Our code is available at the project website.

研究动机与目标

• 通过利用存在域偏移的合成数据，解决真实世界动物姿态标注数据有限的挑战。
• 克服从合成数据到真实数据迁移过程中生成的噪声伪标签的局限性，尽管采用了置信度过滤，其性能仍会下降。
• 通过显式的特征级域自适应，减少合成与真实动物数据之间的域偏移。
• 设计一种渐进式伪标签更新机制，避免因过度拟合噪声标签而导致的性能下降，同时保持训练初期的稳定性。
• 在无需微调的情况下，实现对未见动物类别和域的强大泛化能力。

提出的方法

• 设计一个多尺度域自适应模块（MDAM），联合优化姿态估计与域分类任务，以学习域不变特征。
• 在内部引入粗粒度更新循环，利用自蒸馏模块从噪声预测中生成初始可靠伪标签。
• 引入外部细粒度更新循环，利用均值教师网络逐步优化并替换初始伪标签，生成更准确的标签。
• 基于深度网络的记忆效应，实施一种渐进式标签更新策略，早期优先使用初始标签，后期逐步过渡到教师网络生成的标签。
• 引入MixUp正则化器，以提升训练过程中的泛化能力与鲁棒性。
• 端到端训练模型，使用合成数据进行监督，真实数据用于域自适应，通过迭代生成的伪标签进行优化。

实验结果

研究问题

• RQ1 多尺度域自适应模块是否能有效减少合成与真实动物数据在姿态估计任务中的域差距？
• RQ2 粗到细的伪标签更新策略是否能缓解无监督域自适应过程中噪声伪标签的负面影响？
• RQ3 所提方法在无需微调的情况下，对未见动物类别和域的泛化能力达到何种程度？
• RQ4 与静态或基于置信度的标签选择方法相比，渐进式伪标签使用策略在性能与鲁棒性方面表现如何？
• RQ5 各组件（自蒸馏、均值教师、MDAM、MixUp）对最终性能的贡献分别是什么？

主要发现

• 在TigDog数据集中，该方法在马类上达到79.50%的PCK@0.05准确率，在老虎类上达到67.76%，分别优于CC-SSL 8.73%和3.62%。
• 在VisDA2019数据集中，该方法相比CC-SSL提升14.3%，展现出强大的零样本泛化能力，适用于未见域。
• 模型对未见动物类别泛化良好，在Animal-Pose数据集的绵羊与牛类上分别达到59.51%和71.31%的准确率，尽管未在这些物种上进行过训练。
• 消融实验表明，外层细粒度更新循环使性能提升4.03%（从72.70%提升至73.25%的平均值），而内层粗粒度更新循环进一步将其提升至73.66%。
• 完整模型结合MixUp正则化器后，达到最高的平均准确率73.66%，证实了整个流水线的有效性。
• 定性结果表明，该方法成功估计了跳跃、奔跑及俯卧等具有挑战性的姿态，适用于多种物种。