[논문 리뷰] MammalNet: A Large-scale Video Benchmark for Mammal Recognition and Behavior Understanding

Jun Chen, Ming Hu외 6명|arXiv (Cornell University)|2023. 06. 01.

Animal Behavior and Welfare Studies인용 수 5

한 줄 요약

MammalNet는 과학적 분류 체계를 사용하여 173종의 영장류 분류군과 12개의 고수준 행동을 포함하는 총 539시간 분량의 18,346개의 트림되지 않은 영상으로 구성된 대규모 영상 벤치마크이다. 이는 표준 인식, 구성적 저샷 인식, 행동 탐지의 세 가지 새로운 벤치마크를 가능하게 하며, 현재의 모델들이 특히 긴 꼬리 분포 하에서 정확한 인식을 수행하는 데 여전히 어려움을 겪고 있음을 보여주지만, 전이 학습을 통해 알려지지 않은 동물의 인식이 가능하다는 것을 입증한다.

ABSTRACT

Monitoring animal behavior can facilitate conservation efforts by providing key insights into wildlife health, population status, and ecosystem function. Automatic recognition of animals and their behaviors is critical for capitalizing on the large unlabeled datasets generated by modern video devices and for accelerating monitoring efforts at scale. However, the development of automated recognition systems is currently hindered by a lack of appropriately labeled datasets. Existing video datasets 1) do not classify animals according to established biological taxonomies; 2) are too small to facilitate large-scale behavioral studies and are often limited to a single species; and 3) do not feature temporally localized annotations and therefore do not facilitate localization of targeted behaviors within longer video sequences. Thus, we propose MammalNet, a new large-scale animal behavior dataset with taxonomy-guided annotations of mammals and their common behaviors. MammalNet contains over 18K videos totaling 539 hours, which is ~10 times larger than the largest existing animal behavior dataset. It covers 17 orders, 69 families, and 173 mammal categories for animal categorization and captures 12 high-level animal behaviors that received focus in previous animal behavior studies. We establish three benchmarks on MammalNet: standard animal and behavior recognition, compositional low-shot animal and behavior recognition, and behavior detection. Our dataset and code have been made available at: https://mammal-net.github.io.

연구 동기 및 목표

• 대규모이자 과학적 분류 체계에 기반한 영상 데이터셋이 부족한 문제를 해결하기 위해.
• 기존 데이터셋의 한계, 즉 규모가 작고, 분류 체계에 기반한 주석이 없으며, 행동의 시간적 국소화가 없는 문제를 해결하기 위해.
• 표준화된 벤치마크를 통해 대규모 동물 및 행동 이해를 가능하게 하기 위해.
• 야생 생물 영상 데이터의 자동 분석을 가속화하여 보존 및 생태학적 연구를 지원하기 위해.

제안 방법

• 데이터셋은 유튜브에서 수집한 트림되지 않은 영상들을 바탕으로 하며, 과학적 분류 체계를 활용해 17개 order, 69개 family, 173개 분류군의 영장류를 대상으로 구성되었다.
• 생태학적 및 행동 연구에 관련된 12개의 고수준 행동(예: 사냥, 먹이 섭취, 싸움)을 주석으로 추가하였으며, 원자적 행동을 피하기 위해 설계되었다.
• 모델 평가의 균형을 확보하기 위해 동물-행동 조합 수준에서 학습(70%), 검증(10%), 테스트(20%)로 데이터셋을 분할하였다.
• ActionFormer, TAGS, CoLA 등의 기준 모델은 RGB 및 옵티컬 플로우 입력에서 미세조정된 이중 스트림 I3D 모델로부터 추출된 특징을 사용하여 평가되었다.
• 세 가지 새로운 벤치마크를 설정: 표준 동물 및 행동 분류, 구성적 저샷 인식, 시간적 행동 탐지.
• 모든 데이터 및 코드는 https://mammal-net.github.io 에 공개되어 재현성과 공동 연구를 지원한다.

Figure 1 : A subset of the mammal taxonomy of MammalNet. It includes 3 orders, 11 families, and 45 genera.

실험 결과

연구 질문

• RQ1 최신 기술 모델들은 다양한, 긴 꼬리 분포를 가진 데이터셋에서 대규모로 영장류와 그들의 고수준 행동을 정확하게 인식할 수 있는가?
• RQ2 저샷 인식 환경에서 전이 학습을 통해 모델은 알려지지 않은 동물 종에 대해 얼마나 잘 일반화할 수 있는가?
• RQ3 긴 트림되지 않은 영상 시퀀스 내에서 특정 행동을 국소화하는 데 현재의 모델들은 얼마나 효과적인가?
• RQ4 동물과 행동을 함께 인식하는 것이 별도의 인식 작업보다 성능 향상에 기여하는가?
• RQ5 유튜브 기반 야생 영상 컬렉션에는 어떤 편향이 존재하며, 이는 모델 성능과 생태학적 관련성에 어떤 영향을 미치는가?

주요 결과

• 행동 탐지 작업은 여전히 매우 도전적인 과제이며, ActionFormer는 평균 mAP가 20.07에 불과하여 향후 개선 여지가 크다.
• 동물과 행동을 함께 인식하는 방식은 별도 학습 대비 클래스별 행동 정확도를 약 2.2% 향상시켜 공유 표현의 이점을 보여준다.
• 구성적 저샷 인식은 알려진 조합의 지식을 활용해 알려지지 않은 동물-행동 조합으로의 일반화가 가능하다는 것을 입증한다.
• 데이터셋은 긴 꼬리 분포를 보이며, 이는 희귀한 동물 및 행동 분류군의 정확한 인식을 특히 어렵게 한다.
• 유튜브 기반 영상에서는 인기 있는 행동(예: 싸움, 먹이 섭취)과 도심화 또는 습관화된 동물에 대한 편향이 존재해, 야생 개체군으로의 일반화에 영향을 줄 수 있다.
• 도전 과제가 있음에도 불구하고, 전이 학습을 통해 이전에 본 적 없는 동물 종의 행동 인식이 가능함을 보여주며, 이는 제로샷 및 소수 샘플 학습에 대한 데이터셋의 잠재력을 시사한다.

Figure 2 : The examples for the annotated target behavior boundaries. The frames marked in red boxes denote the annotated temporal boundaries for the target behavior.