[論文レビュー] From Synthetic to Real: Unsupervised Domain Adaptation for Animal Pose Estimation

Chen Li, Gim Hee Lee|arXiv (Cornell University)|Mar 27, 2021

Human Pose and Action Recognition参考文献 50被引用数 8

ひとこと要約

本論文は、マルチスケールドメイン適応モジュール（MDAM）を用いて、合成データと実データの間のドメインギャップを低減することで、動物ポーズ推定のための新規な教師なしドメイン適応フレームワークを提案する。自己蒸留と平均教師ネットワークを用いたオンラインでの粗いから細かいまでの疑似ラベル更新戦略を導入し、ノイジーな初期疑似ラベルを段階的に置き換えることで、TigDogおよびVisDA2019データセットで最先端の性能を達成するとともに、未学習の動物種やドメインに対しても良好な一般化性能を示す。

ABSTRACT

Animal pose estimation is an important field that has received increasing attention in the recent years. The main challenge for this task is the lack of labeled data. Existing works circumvent this problem with pseudo labels generated from data of other easily accessible domains such as synthetic data. However, these pseudo labels are noisy even with consistency check or confidence-based filtering due to the domain shift in the data. To solve this problem, we design a multi-scale domain adaptation module (MDAM) to reduce the domain gap between the synthetic and real data. We further introduce an online coarse-to-fine pseudo label updating strategy. Specifically, we propose a self-distillation module in an inner coarse-update loop and a mean-teacher in an outer fine-update loop to generate new pseudo labels that gradually replace the old ones. Consequently, our model is able to learn from the old pseudo labels at the early stage, and gradually switch to the new pseudo labels to prevent overfitting in the later stage. We evaluate our approach on the TigDog and VisDA 2019 datasets, where we outperform existing approaches by a large margin. We also demonstrate the generalization ability of our model by testing extensively on both unseen domains and unseen animal categories. Our code is available at the project website.

研究の動機と目的

• ドメインシフトを伴う合成データを活用することで、限られた実世界のラベル付き動物ポーズデータの課題に対処する。
• 信頼度フィルタリングを行っても性能が低下するノイズの多い疑似ラベルの生成を避け、合成データから実データへの転送における限界を克服する。
• 明示的な特徴レベルのドメイン適応により、合成データと実データの間のドメインシフトを低減する。
• 過学習を避けるとともに初期学習段階の安定性を保ちながら、ノイズの多いラベルに依存しない段階的な疑似ラベル更新メカニズムを開発する。
• 微調整なしで未学習の動物種やドメインに対しても強力な一般化性能を達成する。

提案手法

• ポーズ推定とドメイン分類を同時に最適化することでドメイン不変特徴を学習するマルチスケールドメイン適応モジュール（MDAM）を設計する。
• ノイズの多い予測から初期の信頼性の高い疑似ラベルを生成するために、自己蒸留モジュールを用いた内部の粗い更新ループを実装する。
• 初期疑似ラベルをより正確なものに段階的に改善・置き換えるために、平均教師ネットワークを用いた外部の細かい更新ループを導入する。
• 深層ネットワークの記憶効果に基づく段階的ラベル更新戦略を適用し、初期段階では初期ラベルを優遇し、後続段階では教師が生成したラベルに移行する。
• 訓練中の一般化性能とロバストネスを向上させるために、MixUp正則化子を適用する。
• 合成データによる監視と実データによるドメイン適応を組み合わせ、反復的に生成される疑似ラベルを用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールドメイン適応モジュールは、ポーズ推定における合成データと実データの間のドメインギャップを効果的に低減できるか？
• RQ2 粗いから細かいまでの疑似ラベル更新戦略は、教師なしドメイン適応におけるノイズの多い疑似ラベルの悪影響を軽減できるか？
• RQ3 提案手法は、微調整なしで未学習の動物種やドメインにどの程度一般化できるか？
• RQ4 段階的な疑似ラベルの使用は、静的または信頼度ベースのラベル選択と比較して、性能およびロバストネスにおいて優れているか？
• RQ5 自己蒸留、平均教師、MDAM、MixUpの各コンポーネントが最終的な性能にどの程度寄与しているか？

主な発見

• TigDogデータセットにおいて、馬ではPCK@0.05が79.50%、トラでは67.76%を達成し、CC-SSLをそれぞれ8.73%および3.62%上回った。
• VisDA2019データセットでは、CC-SSLを14.3%上回り、未学習ドメインへの強いゼロショット一般化性能を示した。
• 訓練データに含まれない種類の動物に対しても良好な一般化性能を示し、Animal-Poseデータセットにおいてヤギでは59.51%、牛では71.31%の精度を達成した。
• 除去実験の結果、外部の細かい更新ループが性能を4.03%（72.70%から73.25%平均）向上させ、内部の粗い更新ループがさらに73.66%まで向上させた。
• MixUp正則化子を含む完全なモデルは、最高の平均精度73.66%を達成し、全体のパイプラインの有効性を確認した。
• 定性的な結果から、ジャンプ、走行、伏せたポーズなど、多様な種にわたる挑戦的なポーズの推定に成功した。