[論文レビュー] ChimpACT: A Longitudinal Dataset for Understanding Chimpanzee Behaviors

Xiaoxuan Ma, Stephan P. Kaufhold+7 more|arXiv (Cornell University)|Oct 25, 2023

Primate Behavior and Ecology被引用数 6

ひとこと要約

ChimpACT は、ドイツ・レプツィヒ動物園に所在する 23 匹のチンパンジーを対象とした大規模かつ縦断的な動画データセットであり、2015 年から 2018 年にかけて収集された 163 ビデオ（160,500 フレーム）を含み、検出、個体識別、ポーズ、微細な時空間的行動に関する豊富なアノテーションを備えている。このデータセットは、トラッキング、ポーズ推定、行動認識の分野におけるコンピュータビジョン手法のベンチマークを可能にし、準自然的環境下における霊長類の社会的発達と行動を研究するためのユニークなリソースを提供する。

ABSTRACT

Understanding the behavior of non-human primates is crucial for improving animal welfare, modeling social behavior, and gaining insights into distinctively human and phylogenetically shared behaviors. However, the lack of datasets on non-human primate behavior hinders in-depth exploration of primate social interactions, posing challenges to research on our closest living relatives. To address these limitations, we present ChimpACT, a comprehensive dataset for quantifying the longitudinal behavior and social relations of chimpanzees within a social group. Spanning from 2015 to 2018, ChimpACT features videos of a group of over 20 chimpanzees residing at the Leipzig Zoo, Germany, with a particular focus on documenting the developmental trajectory of one young male, Azibo. ChimpACT is both comprehensive and challenging, consisting of 163 videos with a cumulative 160,500 frames, each richly annotated with detection, identification, pose estimation, and fine-grained spatiotemporal behavior labels. We benchmark representative methods of three tracks on ChimpACT: (i) tracking and identification, (ii) pose estimation, and (iii) spatiotemporal action detection of the chimpanzees. Our experiments reveal that ChimpACT offers ample opportunities for both devising new methods and adapting existing ones to solve fundamental computer vision tasks applied to chimpanzee groups, such as detection, pose estimation, and behavior analysis, ultimately deepening our comprehension of communication and sociality in non-human primates.

研究の動機と目的

• 特に自然的で社会的グループ環境下における非ヒト霊長類行動のための高品質で縦断的なデータセットの不足に対処すること。
• 複雑な社会的グループ内における個体の発達的経路を研究する包括的リソースを提供すること。
• 豊富にアノテートされた動画データを活用して、コンピュータビジョンタスクにおける霊長類の社会的相互作用の自動分析を可能にすること。
• 微細で現実世界の霊長類行動を捉えることで、人間の社会性とコミュニケーションの進化的な基盤に関する研究を支援すること。
• 現実世界の複雑な霊長類データセット上で、トラッキング、ポーズ推定、行動検出の分野における最先端手法のベンチマークを可能にすること。

提案手法

• 2015 年から 2018 年にかけて、レプツィヒ動物園の 23 匹のチンパンジーの継続的動画記録から 163 ビデオ（160,500 フレーム）を収集した。
• 行動記録を体系的に行うためにフォーカルサンプリングを適用し、特に若齢の雄であるアズィボの発達的旅路に焦点を当てた。
• インスタンスのバウンディングボックス、個体識別ラベル、2次元ボディキーポイントポーズ、微細な時空間的行動ラベルを手動でアノテートした。
• トラッキングと識別用にすべてのフレームをラベル付けし、ポーズと行動検出用には 10 フレームに 1 回の間隔でラベルを付与することで、アノテーションコストとカバー率のバランスを取った。
• 一貫性と正確性を確保するため、プライベートなアノテーションプラットフォーム（BasicFinder CO., Ltd.）を用い、元データは将来の利用のために保存した。
• CC BY-NC 4.0 ライセンスでデータセットを公開し、一般の利用と将来的な研究を可能にするとともに、バージョンの更新とコミュニティ貢献の計画を策定した。

実験結果

リサーチクエスチョン

• RQ1 野生に近いチンパンジー集団の縦断的動画データを、コンピュータビジョン研究に適した形で大規模に体系的に収集・アノテートするにはどうすればよいか？
• RQ2 既存のコンピュータビジョンモデルは、複雑で動的な霊長類グループにおいて、検出・追跡・ポーズ推定をどの程度適応できるか？
• RQ3 非ヒト霊長類の時空間的行動認識において、特に微細な社会的行動を捉えるにあたり、どのような主な課題が存在するか？
• RQ4 アズィボのような個体の発達的経路は、集団レベルの社会的相互作用のダイナミクスにどのように影響を与えるか？
• RQ5 ChimpACT のような大規模で豊富にアノテートされたデータセットは、非ヒト霊長類における少数のサンプル学習、トランスファー学習、行動モデリングの分野で新たな進展を可能にするか？

主な発見

• ChimpACT は合計 163 ビデオ（160,500 フレーム）を含み、23 匹の個体に対して合計 56,324 個のアノテート済みインスタンスが存在し、トラッキングと識別手法の堅牢なベンチマークが可能である。
• データセットには 16,028 個のアノテート済みポーズと 64,289 個の微細な行動ラベルが含まれており、休息、移動、持運び、社会的グルーミングなど多様な行動がカバーされている。
• ChimpACT における実験の結果、オクルージョン、グループダイナミクス、微細な行動的兆候の影響により、既存のコンピュータビジョンモデルがポーズ推定と行動検出において顕著な課題に直面していることが示された。
• データセットの縦断的性質により、行動と社会的役割の発達的変化のモデリングが可能であり、特に乳幼児期から思春期にかけて観察されたアズィボの事例で顕著に現れている。
• ChimpACT は、少数のサンプル学習とトランスファー学習の評価に意味のある評価を可能にし、グループ間および時間的スパンを越えた一般化タスクをサポートしている。
• データセットは CC BY-NC 4.0 で公開されており、将来的なバージョン更新とコミュニティ貢献の計画があるため、長期的な有用性と再現可能性が保証されている。