[論文レビュー] MausHaus Mathis Lab

Ye, Shaokai, Filippova, Anastasiia+6 more|arXiv (Cornell University)|Mar 14, 2022

Animal Behavior and Welfare Studies被引用数 14

ひとこと要約

本稿では、人間によるラベルなしで45種類以上の種にわたるゼロショット推論を可能にする、動物のポーズ推定のための統合的基盤モデルSuperAnimalを紹介する。一般化されたデータコンバーター、キーポイント勾配マスキング、メモリリプレイを用いることで、一貫性のないラベルが付与された多様なデータセット上で学習しながら、深刻な忘却を回避する。従来のトランスファーラーニング手法と比較して10–100倍のデータ効率を達成し、6つのポーズベンチマークで最先端の性能を発揮する。

ABSTRACT

Please see the full DataSheet that accomanies Ye et al. Nature Communications 2024

研究の動機と目的

• 多様な動物種とラベル表記法にわたる一般化可能で再利用可能なポーズ推定モデルの不足に対処すること。
• キーポイント名の不一致や部分的なキーポイントカバレッジを伴うデータセットを統合する課題を克服すること。
• 不均衡で多様なデータ入力が与えられても、深刻な忘却を回避する統合モデルの学習手法を開発すること。
• 高い性能を発揮するデータ効率の良いファインチューニングと、非教師付き動画適応を可能にし、時間的安定性と正確性を向上させること。
• 研究者が最小限のラベリングや再トレーニングで事前学習済みモデルを即座に利用できるプラグアンドプレイソリューションを提供すること。

提案手法

• 異なる命名規則やキーポイントセットを有するデータセット間でキーポイント空間を統一するための一般化されたデータコンバーターを導入する。
• 欠損または部分的なキーポイントアノテーションが付与されたデータセット上で学習する際のモデル崩壊を防ぐために、キーポイント勾配マスキングを実装する。
• 以前に学習済みのキーポイント分布の知識を保持し、深刻な忘却を軽減するために、メモリリプレイを適用する。
• 推論時に、動物のサイズやカメラの視点の違いに適応するため、空間ピラミッドサーチ戦略を用いる。
• ターゲットアノテーションなしで、疑似ラベルを用いた非教師付き動画適応法を開発し、時間的ジッタを低減し、性能を向上させる。
• ImageNetで事前学習されたエンコーダーから転移可能な視覚特徴を保持しながら、デコーダー内のポーズ事前分布を更新するタスクに適応したファインチューニングプロトコルを活用する。

実験結果

リサーチクエスチョン

• RQ1 人間によるラベルなしで、45種類以上の種にわたる多様で一貫性のないラベルが付与されたポーズデータセット上で、統合的基盤モデルを学習可能か？
• RQ2 不均衡で部分的に重複するキーポイントデータセット上で学習する際、深刻な忘却をどのように回避できるか？
• RQ3 従来のトランスファーラーニング手法と比較して、SuperAnimal手法はどの程度データ効率を向上させるか？
• RQ4 非教師付き動画適応は、時間的ジッタを顕著に低減させ、動画シーケンスにおけるポーズ推定の頑健性を向上させられるか？
• RQ5 ゼロショット推論は、行動分類や歩行分析などの下流タスクにどの程度一般化できるか？

主な発見

• SuperAnimalモデルは、TriMouseやDLC-Openfield OODデータセットを含む6つのポーズベンチマークで最先端の性能を達成した。
• ファインチューニングを施したSuperAnimalモデルは、ベースラインのトランスファーラーニング手法と比較して10–100倍のデータ効率を発揮し、強力な性能を発揮するにはたった1–152フレームのデータで十分であった。
• メモリリプレイにより深刻な忘却が防止された。TriMouseベンチマークにおいて、非リプレイベースラインと比較して、性能低下が21.03倍も減少した。
• 非教師付き動画適応により、キーポイントジッタが最大6.61単位（p < 0.0001）低減され、マウス、馬、エリクサーを含む全テスト種で顕著な向上が得られた。
• ゼロショットSuperAnimalモデルは、13の下流アクションセグメンテーションタスクにおいて、公式のMABeポーズデータと同等の性能を発揮した（t = -0.02, p = 0.99）。これは強力な一般化能力を示している。
• 本手法により、完全に教師ありのモデルの97.6％の性能を、トレーニングデータのたった1％で達成でき、驚異的なデータ効率を示した。