[論文レビュー] Animal Behavior Analysis Methods Using Deep Learning: A Survey

Edoardo Fazzari, Donato Romano+2 more|arXiv (Cornell University)|May 22, 2024

Identification and Quantification in Food被引用数 6

ひとこと要約

動物行動分析における深層学習アーキテクチャと戦略の調査には、音声・視覚・オーディオビジュアルデータを横断し、ポーズ推定と非ポーズ手法、データセット、今後の方向性を含む。

ABSTRACT

Animal behavior serves as a reliable indicator of the adaptation of organisms to their environment and their overall well-being. Through rigorous observation of animal actions and interactions, researchers and observers can glean valuable insights into diverse facets of their lives, encompassing health, social dynamics, ecological relationships, and neuroethological dimensions. Although state-of-the-art deep learning models have demonstrated remarkable accuracy in classifying various forms of animal data, their adoption in animal behavior studies remains limited. This survey article endeavors to comprehensively explore deep learning architectures and strategies applied to the identification of animal behavior, spanning auditory, visual, and audiovisual methodologies. Furthermore, the manuscript scrutinizes extant animal behavior datasets, offering a detailed examination of the principal challenges confronting this research domain. The article culminates in a comprehensive discussion of key research directions within deep learning that hold potential for advancing the field of animal behavior studies.

研究の動機と目的

• 深層学習が動物行動研究にとってなぜ変革的であるかを説明し、主要な制限を特定する。
• 行動分析のために深層学習アプローチをポーズ推定と非ポーズ推定に分類する。
• 公開されているデータセットを収集し、種や文脈ごとのカバー範囲を分析する。
• データ収集・アノテーション・デプロイメントの課題について議論し、今後の研究を導く。

提案手法

• Google Scholar、IEEE Xplore、Springerの2020–2023年の記事の系統的文献調査。
• 手法をポーズ推定（APE）と非ポーズ推定アプローチに分類する。
• データセット、種の焦点、および著者の専門分野の背景を分析する。
• 本分野における深層学習の利点、制限、デプロイメントに関する考慮点を議論する。
• 新興アーキテクチャ（例：DLC、LEAP、SLEAP、optiFlex、SemiMultiPose）の総合と、それらが行動分析に与える影響を統合する。

Figure 1. a) illustrates a histogram depicting the distribution of research articles per year, focusing exclusively on papers obtained and cataloged during the initial scavenging phase. b) presents a pie chart detailing the variety of animals utilized in behavioral studies leveraging deep learning t

実験結果

リサーチクエスチョン

• RQ1 RQ1 深層学習ベースの行動分析で、どの動物種がより考慮されず、なぜか。
• RQ2 RQ2 文献で動物行動分析に用いられている深層学習手法は何か。
• RQ3 RQ3 この文脈における人間の行動分析と動物の行動分析との違いは何か。
• RQ4 RQ4 動物行動分析を強化できる可能性があるがまだ活用されていない深層学習戦略は何か。

主な発見

• 本調査は2020–2023の関連論文151件を分析しており、家畜、マウス、神経科学関連研究に焦点を当てる。
• ポーズ推定法（DLC、LEAP、SLEAP）は多くの研究の中心であり、マルチアニマル環境向けの進化するアーキテクチャがある。
• 新興の深層学習アプローチにはOptiFlex、SemiMultiPose、Lightning Pose、トランスフォーマー系またはセミ監視学習法が含まれる。
• Unsup ervised 技術は、ラベリング作業を削減し、一般化を向上させるためにますます使用されている。
• ノン侵襲的な視覚ベースの手法と複数センサーの統合へと傾向があり、ノイズやストレス誘発データを緩和する。
• 本論文は、方法論的およびアノテーションの課題、ドメイン横断データの要件、多様な種のカバーの必要性を強調している。

Figure 2. a) shows the architecture of LEAP (Pereira et al . , 2019 ) ; b) the one exploited in T-LEAP (Russello et al . , 2022 )