[논문 리뷰] CVB: A Video Dataset of Cattle Visual Behaviors

Ali Zia, Renuka Sharma외 8명|arXiv (Cornell University)|2023. 05. 26.

Animal Behavior and Welfare Studies인용 수 5

한 줄 요약

이 논문은 자연 조명에서 초원에서 방목 중인 소 502개의 15초 클립으로 구성된 대규모 비디오 데이터셋인 CVB를 소개한다. 이 데이터셋은 11개의 시각적으로 인지 가능한 행동에 대해 애너테이션 처리되어 있으며, 사전 훈련된 YOLOv7 및 Botsort 모델을 사용해 초기 검출 및 추적을 수행한 후, CVAT에서 전문가가 확인한 라벨링을 통해 애너테이션 작업을 71% 감소시켰다. SlowFast 모델을 사용해 일반적인 행동(예: 방목, 73.96% 정확도)과 누워서 쉬는 행동(58% 정확도)을 정확하게 국소화하고 인식할 수 있으며, 클래스 불균형에도 불구하고 드문 행동에 대해서도 유망한 성능을 보였다.

ABSTRACT

Existing image/video datasets for cattle behavior recognition are mostly small, lack well-defined labels, or are collected in unrealistic controlled environments. This limits the utility of machine learning (ML) models learned from them. Therefore, we introduce a new dataset, called Cattle Visual Behaviors (CVB), that consists of 502 video clips, each fifteen seconds long, captured in natural lighting conditions, and annotated with eleven visually perceptible behaviors of grazing cattle. We use the Computer Vision Annotation Tool (CVAT) to collect our annotations. To make the procedure more efficient, we perform an initial detection and tracking of cattle in the videos using appropriate pre-trained models. The results are corrected by domain experts along with cattle behavior labeling in CVAT. The pre-hoc detection and tracking step significantly reduces the manual annotation time and effort. Moreover, we convert CVB to the atomic visual action (AVA) format and train and evaluate the popular SlowFast action recognition model on it. The associated preliminary results confirm that we can localize the cattle and recognize their frequently occurring behaviors with confidence. By creating and sharing CVB, our aim is to develop improved models capable of recognizing all important behaviors accurately and to assist other researchers and practitioners in developing and evaluating new ML models for cattle behavior classification using video data.

연구 동기 및 목표

• 자연 환경에서의 소 행동 인식을 위한 대규모, 현실적이고 잘 애너테이션 처리된 비디오 데이터셋의 부족을 해결하기 위해.
• 사전 훈련된 객체 검출 및 추적 모델(YOLOv7 및 Botsort)을 활용해 전문가 라벨링 이전에 수동 애너테이션 작업을 줄이기 위해.
• 실제 환경 조건에서 빈번한 행동과 드문 행동을 모두 인식할 수 있는 강력한 기계 학습 모델을 지원할 수 있는 데이터셋을 구축하기 위해.
• 비디오 데이터를 활용한 동물 행동 분류를 위한 새로운 딥 러닝 모델의 개발 및 평가를 가능하게 하기 위해.
• 정확한 행동 인식을 통해 농장 관리, 복지 모니터링 및 환경 지속 가능성 향상을 지원하기 위해.

제안 방법

• 목장의 네 모서리에 고해상도 카메라를 설치해 8头의 앤거스 소가 자연 조명에서 방목하는 15초 클립 502개를 촬영했다.
• 비디오를 고정된 시간 간격으로 분할하고, YOLOv7를 사용해 객체 검출 및 Botsort를 사용해 다중 객체 추적을 수행해 사전 처리했다.
• 컴퓨터 비전 애너테이션 툴(CVAT)을 활용해 검출 결과를 수동으로 수정하고 행동을 라벨링하였으며, 분야 전문가가 정확도를 확보했다.
• 최종 애너테이션을 액터와 상호작용을 처리할 수 있는 Atomic Visual Action (AVA) 형식으로 변환하여 행동 인식 모델의 호환성을 높였다.
• 80:20 훈련-테스트 분할을 사용해 AVA 형식의 CVB 데이터셋에 대해 SlowFast 행동 인식 모델을 훈련하고 평가했다.
• 국소화 정확도 평가를 위해 교차율(IoU) 임계값(50% 초과)을 적용하고, 행동 예측에 대한 신뢰도 점수를 보고했다.

실험 결과

연구 질문

• RQ1 자연 조명에서 촬영된 소의 행동에 대해 세밀한 애너테이션 처리가 된 대규모 비디오 데이터셋은 기계 학습 모델의 행동 인식 성능 향상에 기여할 수 있는가?
• RQ2 사전 훈련된 객체 검출 및 추적 모델이 소 행동 데이터셋의 수동 애너테이션 부담을 어느 정도 줄일 수 있는가?
• RQ3 장기적 클래스 분포를 가진 실제 환경의 소 행동 데이터셋에서 최신 행동 인식 모델(SlowFast)은 어느 정도의 성능을 보일 수 있는가?
• RQ4 CVB에서 훈련된 모델은 복잡한 조건(예: 가림, 다양한 조도)에서도 빈번한 행동(예: 방목)과 드문 행동(예: 발라내기, 뛰기)을 성공적으로 인식할 수 있는가?
• RQ5 AVA 형식은 소 비디오 데이터에서 다중 액터 행동과 행동 간 전이를 표현하는 데 얼마나 효과적인가?

주요 결과

• CVB 데이터셋은 502개의 비디오 클립을 포함하며, 각 클립은 15초 분량이며 총 225,900개의 애너테이션 프레임과 136,598개의 수정된 바운딩 박스를 포함한다. 이는 初기 검출 결과 중 29%만이 수동 수정이 필요했음을 의미한다.
• 방목 행동이 가장 빈번히 발생하며 전체 시간의 39%를 차지하고, 그 다음으로는 누워서 쉬는 행동(15%), 서서 쉬는 행동(12%), 숨겨진 상태(10%)이며, 나머지 행동들은 모두 5% 미만으로 발생하여 장기적 분포를 반영하고 있다.
• 국소화에 대해 IoU 기준 50% 이상을 충족할 경우, SlowFast 모델은 방목 행동에 대해 73.96%의 테스트 정확도와 평균 89%의 신뢰도 점수를 기록했고, 누워서 쉬는 행동에 대해서는 58%의 정확도와 평균 82%의 신뢰도 점수를 기록했다.
• 제한된 훈련 데이터에도 불구하고, 경미한 공격성 및 발라내기와 같은 드문 행동에 대해 합리적인 성능를 보이며, 자원이 적은 클래스로의 일반화 잠재력을 보였다.
• 가림 및 다수의 소가 존재하는 복잡한 장면에서도 모델은 행동을 성공적으로 국소화하고 인식했으며, 다수의 동물이 부분적으로 가려진 경우(그림 2b)에도 불구하고 정상적으로 기능했다.
• 사전 훈련된 검출 및 추적 모델의 사용으로 애너테이션 시간과 노력이 크게 감소하여 대규모 데이터 코어빙의 실현 가능성과 확장성을 확보했다.