[논문 리뷰] Online Collective Animal Movement Activity Recognition

Kehinde Owoeye, Stephen Hailes|arXiv (Cornell University)|2018. 11. 22.

Human Pose and Action Recognition참고 문헌 9인용 수 9

한 줄 요약

이 논문은 양 무리의 집단 이동 행동을 인식하기 위해 시공간 특징(속도 및 무리 중심으로부터의 거리)을 이용한 온라인, 판별적 딥러닝 프레임워크를 제안한다. LSTM 및 CNN+LSTM 아키텍처를 통해 실현되며, 비대칭적인 집단 행동을 분류하는 데 77.02%의 정확도를 달성한다. 공간적 특징은 '무리 이동'과 같이 미흡하게 표현된 행동을 식별하는 데 필수적임을 입증한다.

ABSTRACT

Learning the activities of animals is important for the purpose of monitoring their welfare vis a vis their behaviour with respect to their environment and conspecifics. While previous works have largely focused on activity recognition in a single animal, little or no work has been done in learning the collective behaviour of animals. In this work, we address the problem of recognising the collective movement activities of a group of sheep in a flock. We present a discriminative framework that learns to track the positions and velocities of all the animals in the flock in an online manner whilst estimating their collective activity. We investigate the performance of two simple deep network architectures and show that we can learn the collective activities with good accuracy even when the distribution of the activities is skewed.

연구 동기 및 목표

• 그룹 환경에서 집단 동물 이동 행동의 실시간, 온라인 인식 부족 문제를 해결하기 위해.
• 무리 내 다수의 양의 시공간 특징(속도 및 중심으로부터의 거리)으로부터 집단 행동을 학습하기 위해.
• 특히 '무리 이동'과 같이 표현이 부족한 집단 행동에 대해 분류 정확도를 향상시키기 위해.
• 동물 복지 모니터링 및 보존에 적용 가능한 확장 가능한 온라인 학습 프레임워크 개발하기 위해.

제안 방법

• 모델은 시간 창 크기 m이 과거의 양 위치 및 속도 관측치를 캡처하는 many-to-one 아키텍처를 사용한다.
• LSTM 네트워크는 무리의 이동 시퀀스에서 장기적 시간 의존성을 모델링한다.
• CNN+LSTM 하이브리드 아키텍처는 먼저 1차원 컨볼루션 레이어를 적용해 공간적 특징을 추출한 후, 순서 모델링을 위해 LSTM에 입력한다.
• 입력 특징은 각 양의 공간적 방향성과 속도이며, 무리 중심으로부터의 거리는 공간적 특징으로 사용된다.
• 모델는 Adam 옵timizer, 다중 분류 교차 엔트로피 손실, ReLU 활성화 함수 및 드롭아웃 Regularization을 사용해 엔드 투 엔드로 훈련된다.
• 분류를 위해 시퀀스의 최종 출력만 사용되며, 이는 온라인 모드에서 실시간 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 온라인 실시간 방식으로 양 무리의 집단 이동 행동을 효과적으로 인식할 수 있는가?
• RQ2 시공간 특징(속도 및 중심으로부터의 거리)은 복잡한 집단 행동 분류에 어떻게 기여하는가?
• RQ3 집단 행동 분포가 극도로 비대칭할 경우에도 모델은 높은 정확도를 유지할 수 있는가?
• RQ4 공간적 특징과 이동 특징의 융합은 '무리 이동'과 같이 드문 행동의 탐지에 뚜렷한 향상을 이끌 수 있는가?
• RQ5 이 작업에 대해 다양한 딥러닝 아키텍처(LSTM 대 CNN+LSTM)의 성능은 어떻게 비교되는가?

주요 결과

• 속도 및 중심으로부터의 거리 특징을 모두 사용한 LSTM 모델이 가장 높은 분류 정확도 77.02% ± 1.11을 달성했다.
• 공간적 특징(중심으로부터의 거리)의 포함이 표현이 부족한 '무리 이동' 행동의 탐지에 뚜렷한 향상을 이끌었으며, 공간 입력이 없는 모델은 이 클래스를 완전히 잘못 분류했다.
• 공간적 특징과 함께 사용된 CNN+LSTM 모델은 74.51%의 정확도를 기록했으며, 동일한 특징을 사용한 LSTM 단독 모델보다 略적으로 뛰어났다.
• 공간적 특징을 배제한 모델는 '무리 이동' 클래스를 학습하지 못했으며, 이는 복잡한 집단 행동를 구분하는 데 공간적 맥락이 필수적임을 시사한다.
• 비대칭적인 클래스 분포(예: '무리 이동'에 대한 테스트 데이터의 0.78% 미만)에도 불구하고, 최고의 모델은 이 클래스에 대해 84%의 리콜을 달성했다.
• 혼동 행렬은 공간적 특징이 특히 도전적인 지형에서 미세한 집단 행동를 구분하는 데 핵심적임을 확인했다.