[논문 리뷰] Towards Self-Supervision for Video Identification of Individual Holstein-Friesian Cattle: The Cows2021 Dataset

Jing Gao, Tilo Burghardt외 3명|arXiv (Cornell University)|2021. 05. 05.

Food Supply Chain TraceabilityAgricultural and Biological Sciences인용 수 18

한 줄 요약

이 논문은 지금까지 가장 큰 신원 레이블이 부여된 홀스타인 프리지안 소 데이터셋인 Cows2021을 소개하고, 영상 기반 개별 소 식별을 위한 자체 지도 학습 프레임워크를 제안한다. 영상 간 시간적 소 털 무늬 일관성을 활용하여, 탐지 기반 추적, 회전 정규화된 트랙렛, 데이터 증강, 프레임 트리플릿 대비 학습을 통해 거리 임베딩 공간을 학습하고, 이후 가우시안 믹스처 모델(GMM) 클러스터링을 통해 학습된 분류기를 도출하여, 학습 중에 수동 신원 레이블을 전혀 사용하지 않고도 Top-1 정확도 57.0%와 Top-4 정확도 76.9%를 달성한다.

ABSTRACT

In this paper we publish the largest identity-annotated Holstein-Friesian cattle dataset Cows2021 and a first self-supervision framework for video identification of individual animals. The dataset contains 10,402 RGB images with labels for localisation and identity as well as 301 videos from the same herd. The data shows top-down in-barn imagery, which captures the breed's individually distinctive black and white coat pattern. Motivated by the labelling burden involved in constructing visual cattle identification systems, we propose exploiting the temporal coat pattern appearance across videos as a self-supervision signal for animal identity learning. Using an individual-agnostic cattle detector that yields oriented bounding-boxes, rotation-normalised tracklets of individuals are formed via tracking-by-detection and enriched via augmentations. This produces a `positive' sample set per tracklet, which is paired against a `negative' set sampled from random cattle of other videos. Frame-triplet contrastive learning is then employed to construct a metric latent space. The fitting of a Gaussian Mixture Model to this space yields a cattle identity classifier. Results show an accuracy of Top-1 57.0% and Top-4: 76.9% and an Adjusted Rand Index: 0.53 compared to the ground truth. Whilst supervised training surpasses this benchmark by a large margin, we conclude that self-supervision can nevertheless play a highly effective role in speeding up labelling efforts when initially constructing supervision information. We provide all data and full source code alongside an analysis and evaluation of the system.

연구 동기 및 목표

• 자신의 지도 학습을 통해 시각적 소 식별 시스템을 학습할 때 발생하는 높은 레이블링 부담을 줄이기 위해 자체 지도 학습을 활용한다.
• 연구를 위해 사용 가능한 가장 큰 홀스타인 프리지안 소의 신원 레이블이 부여된 데이터셋을 구축하고 공개한다.
• 영상 간 시간적 소 털 무늬 일관성을 자율 지도 신호로 활용하여 동물의 신원 학습 방법을 개발한다.
• 실제 영상 환경에서 소 생체 인식 식별을 위한 자체 지도 표현 학습의 가능성 여부를 평가한다.
• 생산 수준의 소 식별 시스템에서 인간 레이블링을 가속화할 수 있는 도구 체인을 제공한다.

제안 방법

• 개별 소에 관계없이 작동하는 소 탐지기에서 RGB 영상 프레임에서 기울기 있는 경계 상자(oriented bounding boxes)를 생성하여, 상단 시점의 농장 영상에서 소의 위치를 국소화한다.
• 탐지된 경계 상자들로부터 탐지 기반 추적(tracking-by-detection)을 통해 트랙렛을 형성하고, 스케일과 방향을 정규화하여 일관된 시각적 표현을 만든다.
• 각 트랙렛 내에서 양성 샘플 세트를 풍부하게 하기 위해 데이터 증강을 적용하여 외관 변화에 대한 강건성을 향상시킨다.
• 프레임 트리플릿 대비 학습을 통해 거리 임베딩 공간을 학습하며, 각 앵커(anchor)는 트랙렛의 한 프레임이고, 양성 샘플은 동일한 트랙렛의 다른 프레임이며, 음성 샘플은 다른 영상에서 샘플링된다.
• 학습된 잠재 공간에 대해 가우시안 믹스처 모델(GMM)을 피팅하여 임베딩을 클러스터링하고 신원 레이블을 할당하며, 각 클러스터를 잠재적 신원으로 간주한다.
• 시스템은 Top-N 정확도와 조정된 랜드 지수(ARI)를 사용하여 평가되며, 신원 할당은 클러스터 겹침 분석에서 유도된다.

실험 결과

연구 질문

• RQ1 영상 간 소 털 무늬 외관의 시간적 일관성이 소 신원 학습을 위한 효과적인 자체 지도 학습 신호가 될 수 있는가?
• RQ2 자기 지도 표현 학습이 소 식별 시스템에서 수동 레이블링의 필요성을 얼마나 줄일 수 있는가?
• RQ3 학습 중에 신원 레이블이 전혀 없는 대규모 소 재식별 벤치마크에서 GMM 기반 클러스터링과 함께 대비 학습 프레임워크가 얼마나 잘 작동하는가?
• RQ4 제안된 방법이 실전 환경에서 인간 레이블링을 보조할 수 있는 신뢰도 순서로 정렬된 후보 신원 목록을 생성할 수 있는가?
• RQ5 완전히 지도 학습 접근 방식과 비교했을 때, 생체 인식 소 식별을 위한 자기 지도 학습의 성능 한계는 어느 정도인가?

주요 결과

• 제안된 자체 지도 학습 프레임워크는 테스트 세트에서 Top-1 정확도 57.0%와 Top-4 정확도 76.9%를 달성하여, 레이블링 노력 감소의 강력한 타당성을 입증한다.
• 조정된 랜드 지수(ARI) 0.53은 GMM 클러스터링과 진짜 신원 할당 간에 의미 있는 구조적 유사성을 나타낸다.
• 시스템은 정확한 신원이 상위 네 개 후보에 포함될 가능성이 76.9%인 신뢰도 순서로 정렬된 후보 신원 목록을 생성할 수 있다.
• 학습 중에 수동 신원 레이블을 전혀 사용하지 않았음에도 불구하고, 생산 파이프라인에서 인간 레이블링을 크게 가속화할 수 있는 유용한 분류기를 생성한다.
• 결과적으로 자기 지도 학습이 시각적 소 식별 시스템을 효과적으로 부트스트랩할 수 있으며, 특히 후속 오픈 세트 미세조정과 조합했을 때 더욱 그렇다.
• Cows2021 데이터셋은 10,402장의 레이블이 부여된 이미지와 182마리의 식별 가능한 홀스타인 프리지안 소에서 온 301개의 영상으로 구성되어 있으며, 지금까지 공개된 가장 큰 데이터셋이다.