[논문 리뷰] Vision-based Behavioral Recognition of Novelty Preference in Pigs

Aniket Shirke, Rebecca K. Golden외 4명|arXiv (Cornell University)|2021. 06. 23.

Human Pose and Action Recognition참고 문헌 10인용 수 4

한 줄 요약

이 논문은 깊이 학습을 활용한 돼지 행동 인식을 위한 완전히 애너테이션된 비디오 컬렉션인 Pig Novelty Preference Behavior (PNPB) 데이터셋을 소개한다. LRCN, C3D, TSM 모델을 사용하여 행동 인식과 NOR 지표 예측을 평가하였으며, 93%의 정확도와 96%의 평균 정밀도를 기록했지만, 빠른 돼지의 움직임으로 인해 조밀한 지표(예: 조사 횟수, 지연 시간)를 회귀하기에는 여전히 과제가 남아 있다.

ABSTRACT

Behavioral scoring of research data is crucial for extracting domain-specific metrics but is bottlenecked on the ability to analyze enormous volumes of information using human labor. Deep learning is widely viewed as a key advancement to relieve this bottleneck. We identify one such domain, where deep learning can be leveraged to alleviate the process of manual scoring. Novelty preference paradigms have been widely used to study recognition memory in pigs, but analysis of these videos requires human intervention. We introduce a subset of such videos in the form of the 'Pig Novelty Preference Behavior' (PNPB) dataset that is fully annotated with pig actions and keypoints. In order to demonstrate the application of state-of-the-art action recognition models on this dataset, we compare LRCN, C3D, and TSM on the basis of various analytical metrics and discuss common pitfalls of the models. Our methods achieve an accuracy of 93% and a mean Average Precision of 96% in estimating piglet behavior. We open-source our code and annotated dataset at https://github.com/AIFARMS/NOR-behavior-recognition

연구 동기 및 목표

• 돼지 행동 연구에서 수동 비디오 애너테이션의 한계를 해결하기 위해 자동화된 딥러닝 기반 솔루션을 개발하기 위해.
• 신선도 선호 테스트를 위한 돼지 행동과 키포인트를 포함한 완전히 애너테이션된 데이터셋—PNPB—를 구축하기 위해.
• 클립 수준 및 비디오 수준 성능 모두에서 최신 행동 인식 모델(LRCN, C3D, TSM)을 돼지 비디오 데이터에 대해 훈련 및 평가하기 위해.
• 인간 수준의 정확도로 도메인 특화 NOR 지표(예: 인식 지수, 조사 지속 시간 등)를 예측할 수 있는지 평가하기 위해.
• 특히 시간 및 짧은 지속 시간 행동을 포함한 지표에 대해 현재 모델의 기술적 한계를 규명하기 위해.

제안 방법

• PNPB 데이터셋은 돼지 키드를 포함한 5.5분 분량의 비디오로 구성되며, 행동(예: 조사)과 2차원 키포인트에 대해 애너테이션되어 있다.
• 세 가지 딥러닝 모델—LRCN, C3D, TSM—은 30프레임 클립을 사용하여 클립 수준 행동 인식에 대해 훈련 및 평가된다.
• LRCN은 공간적 특징 추출을 위해 ResNet-18 백본을 사용하고, 시간적 모델링을 위해 LSTM을 활용한다.
• C3D는 비디오 클립에 3차원 컨볼루션을 적용하여 시공간적 특징을 학습하며, Sports1M 사전학습 모델을 미세조정한다.
• TSM는 시간적 동적을 효율적으로 모델링하기 위해 ResNet-18 백본과 시간 이동 모듈(Temporal Shift Module)을 사용하며, RNN을 사용하지 않는다.
• 비디오 수준 성능 평가는 경계 일치도 및 오류 유형 평가를 위해 연속 행동 인식 지표(TP, TN, O, U, F, M, I, D)를 사용한다.

실험 결과

연구 질문

• RQ1 최신 행동 인식 모델이 신선도 선호 작업에서 돼지 행동을 인간 수준의 정확도로 분류할 수 있는가?
• RQ2 이러한 모델이 인식 지수, 조사 지속 시간, 지연 시간과 같은 도메인 특화 NOR 지표를 얼마나 잘 예측할 수 있는가?
• RQ3 빠르고 짧은 지속 시간의 돼지 행동에 적용했을 때 딥러닝 모델의 주요 실패 유형은 무엇인가?
• RQ4 계산 효율성과 모델 아키텍처(RNN 대비 3D-CNN 대비 TSM)가 성능과 추론 속도에 어떤 영향을 미치는가?
• RQ5 클립 수준 정확도가 높음에도 불구하고, 조사 횟수와 지연 시간 같은 지표를 정확히 회귀하지 못하는 이유는 무엇인가?

주요 결과

• 모델들은 짧은 비디오 클립에서 돼지 행동 분류에 대해 93%의 정확도와 96%의 평균 정밀도를 기록했다.
• TSM 모델는 계산 효율성과 성능 사이의 최적의 트레이드오프를 제공하며, CPU에서 14.2 FPS, 2.1 GMACs의 성능을 기록했다.
• 연속 행동 인식에서는 높은 진짜 양성 및 음성 비율(>90%)을 보였지만, 약 3%의 시간 동안 심각한 오류(삽입/삭제)가 발생했다.
• 모델은 CD(총 조사 지속 시간)와 RI(인식 지수)를 각각 R²가 0.99 및 0.86로 매우 높은 정확도로 예측하여 강력한 회귀 성능을 보였다.
• 모델은 조사 횟수(N)를 과소평가하고 LF 및 LL 지표를 다루는 데 어려움을 겪었으며, R² 값이 각각 0.58, 0.42, -0.26로 낮았다.
• 주요 과제는 1초 미만으로 지속되는 짧고 빠른 상호작용을 탐지하는 데 있으며, 이는 정확한 NOR 지표 계산에 필수적이다.