[논문 리뷰] ChimpACT: A Longitudinal Dataset for Understanding Chimpanzee Behaviors

Xiaoxuan Ma, Stephan P. Kaufhold외 7명|arXiv (Cornell University)|2023. 10. 25.

Primate Behavior and Ecology인용 수 6

한 줄 요약

ChimpACT는 독일 라이프치히 동물원의 23只 침팬지에 대한 대규모 종단적 영상 데이터셋으로, 2015~2018년 기간 동안 촬영된 163개 영상(160,500 프레임)을 포함하며, 탐지, 정체성, 자세, 미세한 시공간 행동에 대한 풍부한 애너테이션을 제공한다. 이 데이터셋은 추적, 자세 추정, 행동 인식 분야의 컴퓨터 비전 기법 평가에 기여하며, 반자연적인 환경에서 영장류 사회 발달과 행동을 연구하는 데 유일무이한 자원을 제공한다.

ABSTRACT

Understanding the behavior of non-human primates is crucial for improving animal welfare, modeling social behavior, and gaining insights into distinctively human and phylogenetically shared behaviors. However, the lack of datasets on non-human primate behavior hinders in-depth exploration of primate social interactions, posing challenges to research on our closest living relatives. To address these limitations, we present ChimpACT, a comprehensive dataset for quantifying the longitudinal behavior and social relations of chimpanzees within a social group. Spanning from 2015 to 2018, ChimpACT features videos of a group of over 20 chimpanzees residing at the Leipzig Zoo, Germany, with a particular focus on documenting the developmental trajectory of one young male, Azibo. ChimpACT is both comprehensive and challenging, consisting of 163 videos with a cumulative 160,500 frames, each richly annotated with detection, identification, pose estimation, and fine-grained spatiotemporal behavior labels. We benchmark representative methods of three tracks on ChimpACT: (i) tracking and identification, (ii) pose estimation, and (iii) spatiotemporal action detection of the chimpanzees. Our experiments reveal that ChimpACT offers ample opportunities for both devising new methods and adapting existing ones to solve fundamental computer vision tasks applied to chimpanzee groups, such as detection, pose estimation, and behavior analysis, ultimately deepening our comprehension of communication and sociality in non-human primates.

연구 동기 및 목표

• 자연스러운 사회적 군집 환경에서의 비인간 영장류 행동에 대한 고품질 종단적 데이터셋의 부족을 보완한다.
• 복잡한 사회적 군집 내에서 개인 침팬지의 발달 궤적을 종합적으로 연구할 수 있는 자원을 제공한다.
• 풍부하게 애너테이션 처리된 영상 데이터를 통해 영장류 사회적 상호작용의 자동 분석을 가능하게 한다.
• 세부적이고 실제적인 영장류 행동을 촬영함으로써 인간 사회성 및 의사소통의 진화적 기원에 대한 연구를 지원한다.
• 어려운 실제 영장류 데이터셋을 기반으로 추적, 자세 추정, 행동 탐지 분야의 최신 기법에 대한 벤치마킹을 가능하게 한다.

제안 방법

• 2015년부터 2018년까지 라이프치히 동물원의 23只 침팬지 군집에 대한 연속 영상 기록으로부터 163개 영상(160,500 프레임)을 확보한다.
• 집중 샘플링 기법을 적용하여 행동을 체계적으로 기록하며, 특히 청소년 수컷인 아지보의 발달 과정에 초점을 맞춘다.
• 개체별 경계 상자, 정체성 레이블, 2D 신체 관절 키포인트 자세, 미세한 시공간 행동 레이블을 수동으로 애너테이션한다.
• 모든 프레임에 대해 추적 및 식별을 위한 애너테이션을 수행하고, 자세 및 행동 탐지의 경우 매 10번째 프레임만 애너테이션하여 애너테이션 비용과 커버리지의 균형을 확보한다.
• 일관성 있고 정확한 레이블링을 위해 비공개 애너테이션 플랫폼(BasicFinder CO., Ltd.)을 사용하며, 원본 데이터는 향후 사용을 위해 유지한다.
• 공개 접근과 향후 연구를 위해 CC BY-NC 4.0 라이선스 하에 데이터셋을 배포하며, 버전 업데이트 및 커뮤니티 기여 계획을 수립한다.

실험 결과

연구 질문

• RQ1 어떻게 자연형 침팬지 군집의 종단적 영상 데이터를 컴퓨터 비전 연구를 위해 체계적으로 대규모로 수집하고 애너테이션할 수 있는가?
• RQ2 기존 컴퓨터 비전 모델이 복잡하고 동적인 영장류 군집에서 탐지, 추적, 자세 추정을 수행하는 데 얼마나 적합한가?
• RQ3 비인간 영장류의 시공간 행동 인식에서 주요 과제는 무엇이며, 특히 미세한 사회적 행동을 어떻게 포착할 수 있는가?
• RQ4 개별 침팬지의 발달 궤적(예: 아지보)이 군집 수준의 사회적 상호작용에 어떤 영향을 미치는가?
• RQ5 ChimpACT처럼 대규모이고 풍부하게 애너테이션된 데이터셋이 비인간 영장류의 소수 샘플 학습, 전이 학습, 행동 모델링 분야에서 새로운 발전을 이끌 수 있는가?

주요 결과

• ChimpACT는 총 163개 영상, 160,500 프레임으로 구성되어 있으며, 23명의 개체에 대해 총 56,324개의 애너테이션 개체를 포함하여 추적 및 식별 방법의 강력한 벤치마킹을 가능하게 한다.
• 16,028개의 애너테이션된 자세와 64,289개의 미세한 행동 레이블을 포함하며, 쉬운 자세, 이동, 반경, 사회적 스크래칭 등의 다양한 행동을 커버한다.
• ChimpACT에서의 실험 결과, 기존 컴퓨터 비전 모델이 음영, 군집 역학, 미세한 행동 신호 등으로 인해 자세 추정 및 행동 탐지에서 심각한 과제에 직면해 있음을 확인했다.
• 데이터셋의 종단적 성격 덕분에 행동 및 사회적 역할의 발달 변화를 모델링할 수 있었으며, 특히 유아기에서 청소년기까지 관찰된 아지보의 사례에서 뚜렷하게 드러났다.
• ChimpACT는 소수 샘플 학습 및 전이 학습 방법의 의미 있는 평가를 가능하게 하며, 데이터셋이 군집 간 및 시간 간 일반화 작업을 지원하기 때문이다.
• 데이터셋은 CC BY-NC 4.0 라이선스 하에 공개되었으며, 향후 버전 업데이트 및 커뮤니티 기여 계획이 수립되어 있어 장기적인 유용성과 재현 가능성을 확보한다.