[論文レビュー] AP-10K: A Benchmark for Animal Pose Estimation in the Wild

Hang Yu, Yufei Xu+4 more|arXiv (Cornell University)|Aug 28, 2021

Human Pose and Action Recognition参考文献 37被引用数 35

ひとこと要約

AP-10K は、23ファミリーおよび54種にわたる10,015枚のラベル付き画像を用いた大規模哺乳類姿勢推定ベンチマークであり、監視学習、ヒトの姿勢推定からのクロスドメイン転移、および同族内・同族間の一般化を評価する。

ABSTRACT

Accurate animal pose estimation is an essential step towards understanding animal behavior, and can potentially benefit many downstream applications, such as wildlife conservation. Previous works only focus on specific animals while ignoring the diversity of animal species, limiting the generalization ability. In this paper, we propose AP-10K, the first large-scale benchmark for mammal animal pose estimation, to facilitate the research in animal pose estimation. AP-10K consists of 10,015 images collected and filtered from 23 animal families and 54 species following the taxonomic rank and high-quality keypoint annotations labeled and checked manually. Based on AP-10K, we benchmark representative pose estimation models on the following three tracks: (1) supervised learning for animal pose estimation, (2) cross-domain transfer learning from human pose estimation to animal pose estimation, and (3) intra- and inter-family domain generalization for unseen animals. The experimental results provide sound empirical evidence on the superiority of learning from diverse animals species in terms of both accuracy and generalization ability. It opens new directions for facilitating future research in animal pose estimation. AP-10k is publicly available at https://github.com/AlexTheBad/AP10K.

研究の動機と目的

• 未知種への一般化のための大規模で多様な動物姿勢データセットの不足を解消する。
• 分類学的に整理されたベンチマークを提供し、同族内および同族間の一般化を研究する。
• 事前学習効果と転移学習を評価するため、複数のトラックで代表的な姿勢推定モデルのベンチマークを行う。
• ファミリー/種別でラベル付けされた補助的なラベルなし画像を用いて半教師あり学習と自己教師あり学習の探索を可能にする。

提案手法

• 公開ソースから大規模で分類学的に整理された動物画像データセットを収集・整理する。
• 10,015枚の画像を、動物ごとに17のキーポイントと背景タイプ8をCOCOスタイル形式で注釈付けし、複数回の品質チェックを実施する。
• 同族内および同族間評価を可能にするため、データをファミリーと種別で整理する。
• 3つのトラック（監視学習（SL）、ヒトの姿勢推定からのクロスドメイン転移学習（CD-TL）、同族内/同族間ドメイン一般化（DG））で代表的な姿勢推定モデルを評価する。
• 事前学習（ImageNet、COCO）と学習スケジュールが性能に与える影響を調査し、クロスドメイン転移のギャップと少数/転移学習シナリオを分析する。

実験結果

リサーチクエスチョン

• RQ1 代表的な人間姿勢モデルは AP-10K での動物姿勢推定でどのように性能を発揮するか？
• RQ2 多様な動物種での学習は精度と未知の動物への一般化を改善するか？
• RQ3 大規模で多様なデータセットに対する ImageNet や COCO 人間姿勢の事前学習が動物姿勢推定に与える影響は？
• RQ4 ある種で訓練し別の種でテストする場合の同族内および同族間の一般化はどう振る舞うか？
• RQ5 人間姿勢推定から動物姿勢推定へのクロスドメイン転移は限られた動物データを補えるか、また学習スケジュールはこれにどう影響するか？

主な発見

• AP-10K は 23 ファミリーと 54 種にわたる 10,015 枚のラベル付き画像を含み、半教師あり/自己教師ありの使用に約 50k のラベルなし画像を含む。
• 17 動物キーポイント、背景カテゴリ 8、COCO 形式で注釈付けされ、13 名のアノテータによって慎重に検査された。
• ImageNet での事前学習は SL トラックの性能を向上させるが、ゼロから訓練する場合、長いトレーニングスケジュールはこのギャップを縮小することがある。
• ヒトの姿勢推定から動物姿勢推定へのクロスドメイン転移は、より長いファインチューニングが与えられた場合に有効であり、設定によっては ImageNet 事前学習に近づくまたはこれを上回る。
• 同族内および同族間の一般化は、複数の種で訓練すると特徴表現が向上することを示し、家系間で未知の種をテストした場合にはパフォーマンスが異なる。より多様な種のデータは一般に一般化を改善する。
• データセットはファミリーと種にわたって長尾分布を呈し、Few-shot 学習研究を可能にし、一般化タスクを難しくする。
• 同族間転移とFew-shot実験は、少量のファインチューニングデータでも新しい種への性能を大幅に向上させることを示す。