[논문 리뷰] Animal Behavior Analysis Methods Using Deep Learning: A Survey

Edoardo Fazzari, Donato Romano외 2명|arXiv (Cornell University)|2024. 05. 22.

Identification and Quantification in Food인용 수 6

한 줄 요약

Audio, visual, 및 audiovisual 데이터 전반에 걸친 동물 행동 분석을 위한 심층학습 아키텍처와 전략의 조사로, 자세 추정 및 비자세 방법, 데이터셋 및 향후 방향을 포함합니다.

ABSTRACT

Animal behavior serves as a reliable indicator of the adaptation of organisms to their environment and their overall well-being. Through rigorous observation of animal actions and interactions, researchers and observers can glean valuable insights into diverse facets of their lives, encompassing health, social dynamics, ecological relationships, and neuroethological dimensions. Although state-of-the-art deep learning models have demonstrated remarkable accuracy in classifying various forms of animal data, their adoption in animal behavior studies remains limited. This survey article endeavors to comprehensively explore deep learning architectures and strategies applied to the identification of animal behavior, spanning auditory, visual, and audiovisual methodologies. Furthermore, the manuscript scrutinizes extant animal behavior datasets, offering a detailed examination of the principal challenges confronting this research domain. The article culminates in a comprehensive discussion of key research directions within deep learning that hold potential for advancing the field of animal behavior studies.

연구 동기 및 목표

• 딥러닝이 동물 행동 연구에서 왜 혁신적이며 어떤 주요 한계가 있는지 설명한다.
• 행동 분석을 위한 딥러닝 접근법을 자세 추정(pose estimation)과 비자세 추정으로 분류한다.
• 공개 가능한 데이터셋을 모으고 종 및 맥락에 따른 커버리지를 분석한다.
• 데이터 수집, 주석 부여, 배포의 도전과제를 논의하여 향후 연구를 지도한다.

제안 방법

• Google Scholar, IEEE Xplore, Springer의 2020–2023년 논문에 대한 체계적 문헌고찰.
• 방법을 자세 추정(APE)과 비자세 추정 접근법으로 분류한다.
• 데이터셋, 종 초점 및 저자 학문적 배경 분석.
• 현장 적용에서의 심층학습의 장점, 한계 및 배치 고려사항을 논의한다.
• 신흥 아키텍처(DLC, LEAP, SLEAP, optiFlex, SemiMultiPose 등)의 합성 및 그것이 행동 분석에 미치는 영향.

Figure 1. a) illustrates a histogram depicting the distribution of research articles per year, focusing exclusively on papers obtained and cataloged during the initial scavenging phase. b) presents a pie chart detailing the variety of animals utilized in behavioral studies leveraging deep learning t

실험 결과

연구 질문

• RQ1 RQ1 딥러닝 기반 행동 분석에서 덜 고려되는 동물 종은 무엇이며 그 이유는 무엇인가?
• RQ2 RQ2 동물 행동 분석에 문헌에서 사용된 딥러닝 방법은 무엇인가?
• RQ3 RQ3 이 맥락에서 인간 행동 분석과 동물 행동 분석의 차이는 무엇인가?
• RQ4 RQ4 동물 행동 분석을 강화할 수 있지만 아직 활용되지 않은 DL 전략은 무엇인가?

주요 결과

• 본 연구는 2020–2023년의 관련 논문 151편을 분석하며 가축, 생쥐 및 신경과학 관련 연구에 초점을 둔다.
• 자세 추정 방법(DLC, LEAP, SLEAP)이 다수 연구의 핵심이며 다동물 시나리오를 위한 진화하는 아키텍처가 있다.
• 신흥 DL 접근법으로는 OptiFlex, SemiMultiPose, Lightning Pose, 트랜스포머 기반 또는 준지도 학습 방법이 포함된다.
• Unsup ervised(타이포 유지) 및 self-supervised 기술은 주석 작업을 줄이고 일반화 성능을 향상시키기 위해 점점 더 많이 사용된다.
• 노이즈 및 스트레스 유발 데이터 완화를 위해 비침습적 시각 기반 접근 및 다중 센서 융합으로의 경향이 있다.
• 논문은 방법론적 및 주석 부여의 도전과제, 도메인 간 데이터 요구사항, 다양한 종 커버리지의 필요성을 강조한다.

Figure 2. a) shows the architecture of LEAP (Pereira et al . , 2019 ) ; b) the one exploited in T-LEAP (Russello et al . , 2022 )