[논문 리뷰] Segmentation Enhanced Lameness Detection in Dairy Cows from RGB and Depth Video

Eric Arazo, Robin Aly외 1명|arXiv (Cornell University)|2022. 06. 09.

Animal Behavior and Welfare Studies인용 수 4

한 줄 요약

이 논문은 RGB 및 깊이 영상 데이터를 활용하여 젖소의 기립 보행 이상 감지 성능을 햖थ한 세그멘테이션 강화 시스템을 제안한다. 마스크 처리된 젖소 영역에 대해 사전 학습된 SlowFast 네트워크를 적용하여 정확도를 향상시킨다. 원본 영상 입력 대신 이진 세그멘테이션 마스크를 사용함으로써 측면 시야에서의 정확도가 61.76%에서 84.56%로 향상되었으며, 이는 젖소 신체 구조에 초점을 맞추는 것이 기립 보행 이상 분류 성능 향상에 크게 기여함을 시사한다.

ABSTRACT

Cow lameness is a severe condition that affects the life cycle and life quality of dairy cows and results in considerable economic losses. Early lameness detection helps farmers address illnesses early and avoid negative effects caused by the degeneration of cows' condition. We collected a dataset of short clips of cows passing through a hallway exiting a milking station and annotated the degree of lameness of the cows. This paper explores the resulting dataset and provides a detailed description of the data collection process. Additionally, we proposed a lameness detection method that leverages pre-trained neural networks to extract discriminative features from videos and assign a binary score to each cow indicating its condition: "healthy" or "lame." We improve this approach by forcing the model to focus on the structure of the cow, which we achieve by substituting the RGB videos with binary segmentation masks predicted with a trained segmentation model. This work aims to encourage research and provide insights into the applicability of computer vision models for cow lameness detection on farms.

연구 동기 및 목표

• 경제적 손실과 복지 손실을 줄이기 위해 젖소의 조기 기립 보행 이상 감지를 해결하기 위해.
• 수동 기립 보행 점수 평가의 주관성과 전문가 의존도를 줄이기 위해 자동화된 컴퓨터 비전 기반 솔루션을 개발하기 위해.
• 카메라 위치, 입력 특징, 클래스 불균형이 기립 보행 이상 감지 성능에 미치는 영향을 조사하기 위해.
• 세그멘테이션 마스크를 통해 젖소 신체 구조에 주의를 집중시킴으로써 모델의 강건성을 향상시키기 위해.
• 향후 농장 기반 컴퓨터 비전 응용 분야 연구를 촉진하기 위해 공개된 데이터셋과 방법을 제공하기 위해.

제안 방법

• Intel Realsense D435 카메라를 사용하여 측면 및 상단 시야에서 젖소 영상 클립 총 1,733개의 전용 데이터셋을 수집하고 RFID를 통한 젖소 식별을 수행하였다.
• 시각적 일관성을 RGB 입력과 유지하기 위해 깊이 영상에 HUE 색상 공간 인코딩을 적용하여 RGB로 변환하였다.
• 배경 혼잡함으로부터 소를 분리하기 위해 소의 이진 마스크를 생성하기 위해 세그멘테이션 모델을 학습시켰다.
• 3D CNN인 SlowFast를 사용하여 영상 입력으로부터 시공간적 특징을 추출하였으며, RGB 및 마스크 처리된 영상 스트림을 모두 활용하였다.
• 느린 경로와 빠른 경로의 특징를 결합하여 총 2304차원의 표현 학습을 향상시켰다.
• Adam 옵timizer와 교차 엔트로피 손실를 사용하여 ReLU 및 소프트맥스 활성화 함수를 갖는 3층 분류기 모델을 훈련시켜 '건강' 또는 '기립 보행 이상'을 예측하였다.

실험 결과

연구 질문

• RQ1 카메라 위치(측면 대비 상단 시야)가 기립 보행 이상 감지 정확도에 어떤 영향을 미치는가?
• RQ2 원본 RGB, 깊이, 또는 세그멘테이션 마스크 처리된 영상 입력을 사용할 경우 분류 성능에 어떤 영향을 미치는가?
• RQ3 영상 입력에 세그멘테이션 마스크를 적용함으로써 특징 학습 및 모델 일반화 능력은 어떻게 향상되는가?
• RQ4 건강한 젖소의 비율이 높은 클래스 불균형이 모델 성능에 미치는 영향은 어느 정도이며, 이를 어떻게 완화할 수 있는가?
• RQ5 깊이 맵 전처리의 계산 비용은 얼마이며, 이는 농장에서 실시간 배포에 어떤 영향을 미치는가?

주요 결과

• 세그멘테이션 마스크를 사용한 경우, 측면 시야 영상에서 정확도가 84.56%로 상위 수준에 도달했고, 상단 시야에서는 75.00%로 상대적으로 낮았다.
• 원본 RGB 영상 대비 세그멘테이션 마스크를 사용함으로써 측면 시야 정확도가 22.8个百分点 향상되었으며, 61.76%에서 84.56%로 상승하였다.
• 깊이 영상 입력의 경우, 마스크 처리로 측면 시야 정확도가 63.23%에서 75.00%로 향상되었지만, 상단 시야에서는 성능 저하가 발생하였다.
• 세그멘테이션 마스크를 적용함으로써 측면 시야에서 '기립 보행 이상' 클래스의 재현율이 27%에서 80%로 상승하여 심각한 경우의 감지 능력 향상을 보였다.
• 마스크 처리된 RGB 입력을 사용한 측면 시야에서 '기립 보행 이상' 클래스의 정밀도가 82%로 향상되어 가짜 양성 결과가 감소함을 나타냈다.
• 깊이 맵의 HUE 인코딩은 계산 비용이 높아 실시간 농장 배포에 있어 주요 성능 저하 요인으로 확인되었다.