[論文レビュー] APT-36K: A Large-scale Benchmark for Animal Pose Estimation and Tracking

Yuxiang Yang, Junjie Yang+4 more|arXiv (Cornell University)|Jun 12, 2022

Human Pose and Action Recognition被引用数 21

ひとこと要約

この論文は、30種にわたる同時動物姿勢推定と追跡のための最初の大規模ベンチマークである APT-36K を紹介します。3つの評価トラック（SF、IS、APT）と広範な transformer ベースおよび CNN ベースラインを用意しています。

ABSTRACT

Animal pose estimation and tracking (APT) is a fundamental task for detecting and tracking animal keypoints from a sequence of video frames. Previous animal-related datasets focus either on animal tracking or single-frame animal pose estimation, and never on both aspects. The lack of APT datasets hinders the development and evaluation of video-based animal pose estimation and tracking methods, limiting real-world applications, e.g., understanding animal behavior in wildlife conservation. To fill this gap, we make the first step and propose APT-36K, i.e., the first large-scale benchmark for animal pose estimation and tracking. Specifically, APT-36K consists of 2,400 video clips collected and filtered from 30 animal species with 15 frames for each video, resulting in 36,000 frames in total. After manual annotation and careful double-check, high-quality keypoint and tracking annotations are provided for all the animal instances. Based on APT-36K, we benchmark several representative models on the following three tracks: (1) supervised animal pose estimation on a single frame under intra- and inter-domain transfer learning settings, (2) inter-species domain generalization test for unseen animals, and (3) animal pose estimation with animal tracking. Based on the experimental results, we gain some empirical insights and show that APT-36K provides a valuable animal pose estimation and tracking benchmark, offering new challenges and opportunities for future research. The code and dataset will be made publicly available at https://github.com/pandorgan/APT-36K.

研究の動機と目的

• 多様な種にわたる単一フレームの動物姿勢推定と複数フレームの動物追跡の両方に対する高品質の大規模データセットを作成する。
• 3つのトラックで代表的なCNNとビジョン・トランスフォーマー・モデルをベンチマークし、ドメイン内/ドメイン間の転移と種間一般化を検討する。
• 異なる事前学習 regime（人間、動物） の利点と、姿勢タスクの基盤モデルとしてのプレーンなビジョントランスフォーマーの潜在力について洞察を提供する。
• 動物行動理解と野生生物保全への応用を促進する、現実的で挑戦的なテストベッドを提供する。

提案手法

• 30科の動物を含む2,400本のYouTube動画クリップを収集し、各クリップあたり15フレームをサンプリングして36,000フレームの注釈を得る。
• COCOスタイルのキーポイント（動物あたり約17点）に加えて、追跡IDと境界ボックスをフレーム間で多回の品質検査を通じて注釈づけする。
• データをトレーニング/検証/テストの splits に整理し、リークを避けるためにビデオレベルの分割を行う。
• 3つのトラックをベンチマークする：SF（単一フレーム姿勢推定）、IS（種間一般化）、APT（追跡を伴う姿勢推定）。
• 平均適合度（AP）と OKS ベースの指標を MS COCO の規約に従って評価し、ImageNet/COCO/AP-10K の事前訓練からの転移を検討する。

実験結果

リサーチクエスチョン

• RQ1 現在の姿勢推定モデルは、 temporal 情報を持つ大規模な多種動物データセットへどの程度転移できるのか？
• RQ2 いくつかの科で訓練し見られない科でテストした場合の inter-species/generalization 性能はどうなるのか？
• RQ3 連続フレーム間で追跡と組み合わせた動物姿勢推定はどう機能し、どのモデル/トラッカーの組み合わせが最も効果的か？
• RQ4 ImageNet、COCO human pose、AP-10K animal pose、human-to-animal transfer など、異なる事前学習 regimes が APT-36K にどのような利点をもたらすのか？

主な発見

• APT-36K には 36,000 フレーム、53,006 注釈されたインスタンスが 2,400 クリップから抽出され、30 種類と 15 家族にわたり、共同の姿勢推定と追跡のベンチマークを可能にする。
• Vision transformers（例：ViTPose）は単一フレームの姿勢性能が高く、IN1K 事前学習時に 77.4 AP、human pose 事前学習時に 78.3 AP など。
• 動物 pose データセットに対する事前学習は、AP-10K 事前学習よりも人間のポーズデータでの事前学習が一般に大きな利益をもたらす傾向があり、例えば ViTPose は (human) 78.3 AP に対し (AP-10K) 78.2 AP。
• IS トラックにおける種間一般化では、訓練に含まれない家族でテストすると性能が大幅に低下する（例：Cercopithecidae は訓練時に含まれていない場合 29.6 AP ）、多様な家族のカバーの必要性を浮き彫りにする。
• APT トラック（追跡を伴う姿勢推定）では ViTPose + ViTTrack が全体的な最良性能（75.8 AP）を達成し、固定エンコーダを用いたプレーン ViT ベースの追跡も強力に機能することがある（75.5 AP）。
• few-shot 実験ではより多くのデータで大きな利益が得られ、特に希少種で顕著だが、訓練データと特徴を共有する種では利益は小さい。