[논문 리뷰] WildlifeDatasets: An open-source toolkit for animal re-identification

Vojtěch Čermák, Lukáš Picek외 2명|arXiv (Cornell University)|2023. 11. 15.

Identification and Quantification in Food인용 수 4

한 줄 요약

이 논문은 29개의 공개 데이터셋에 대한 표준화된 접근을 가능하게 하고, 국소적 및 딥러닝 기반 방법의 벤치마킹을 가능하게 하며, 정제된 데이터셋으로 훈련된 Swin 아키텍처 기반의 새로운 기초 모델인 MegaDescriptor를 도입하는 오픈소스 파이썬 툴킷인 WildlifeDatasets를 소개한다. MegaDescriptor는 다양한 종에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 가장 큰 버전(L-384)이 AAUZebraFish에서 99.93%의 정확도와 HyenaID2022에서 78.41%의 정확도를 기록한다.

ABSTRACT

In this paper, we present WildlifeDatasets (https://github.com/WildlifeDatasets/wildlife-datasets) - an open-source toolkit intended primarily for ecologists and computer-vision / machine-learning researchers. The WildlifeDatasets is written in Python, allows straightforward access to publicly available wildlife datasets, and provides a wide variety of methods for dataset pre-processing, performance analysis, and model fine-tuning. We showcase the toolkit in various scenarios and baseline experiments, including, to the best of our knowledge, the most comprehensive experimental comparison of datasets and methods for wildlife re-identification, including both local descriptors and deep learning approaches. Furthermore, we provide the first-ever foundation model for individual re-identification within a wide range of species - MegaDescriptor - that provides state-of-the-art performance on animal re-identification datasets and outperforms other pre-trained models such as CLIP and DINOv2 by a significant margin. To make the model available to the general public and to allow easy integration with any existing wildlife monitoring applications, we provide multiple MegaDescriptor flavors (i.e., Small, Medium, and Large) through the HuggingFace hub (https://huggingface.co/BVRA).

연구 동기 및 목표

• 생태학적 연구와 컴퓨터 비전 연구 간에 야생 동물 재식별 방법, 데이터셋, 평가 지표의 표준화 부족 문제를 해결한다.
• 국소적 기술, 딥러닝 모델, 전이 학습 접근법의 비교를 위한 통합적이고 재현 가능한 프레임워크를 제공한다.
• 일致한 사전처리, 평가 및 미세조정 파이프라인을 통해 다양한 종과 데이터셋에서 모델의 벤치마킹을 가능하게 한다.
• 정제된 데이터셋으로 훈련된 기초 모델인 MegaDescriptor를 개발하고 공개하여 다종 간 재식별의 강력한 기준점을 제공한다.
• HuggingFace 허브를 통해 사전 훈련된 MegaDescriptor 버전을 제공하여 실제 야생 모니터링 시스템에의 통합을 촉진한다.

제안 방법

• 29개의 공개적으로 이용 가능한 야생 동물 재식별 데이터셋에 대한 표준화된 접근을 제공하는 모듈러한 파이썬 툴킷을 구현한다. 이는 메타데이터, 분할, 사전처리 유틸리티를 포함한다.
• 다양한 재식별 파라다임을 지원한다: 국소적 기능 기술자(SIFT, ORB 등), 딥 메트릭 학습, 비전 트랜스포머의 미세조정.
• Swin 트랜스포머 아키텍처(Swin-T, Swin-S, Swin-B, Swin-L) 기반의 기초 모델인 MegaDescriptor를 도입한다. 이는 29개 종에 걸쳐 개인 동물의 대규모 정제된 데이터셋으로 사전 훈련된다.
• 개체 식별에 민감한 표현 학습을 최적화하기 위해 인스턴스 구분을 사용하는 대비 학습 기반으로 MegaDescriptor를 훈련한다. 이는 다양한 동물 무늬와 무늬 패턴에 걸쳐 표현을 학습한다.
• 정확도 대 비용(추론 속도)의 트레이드오프를 고려해 다양한 입력 해상도(224px 및 384px)를 갖는 여러 모델 버전(Small, Medium, Large)을 제공한다.
• 모든 사전 훈련된 MegaDescriptor 모델을 HuggingFace Hubs에 호스팅하여 기존 야생 모니터링 파이프라인에 쉽게 배포하고 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 국소적 기술과 딥러닝 모델은 다양한 야생 동물 재식별 데이터셋과 종에서 어떤 성능을 보이는가?
• RQ2 모델 크기와 입력 해상도는 다양한 동물 종에서 재식별 정확도에 어떤 영향을 미치는가?
• RQ3 일관된 기초 모델이 다양한 시각적 패턴과 데이터 품질을 갖는 여러 종에 효과적으로 일반화될 수 있는가?
• RQ4 MegaDescriptor는 Zero-shot 및 미세조정 설정에서 기존의 기초 모델인 CLIP와 DINOv2에 비해 어떻게 비교되는가?
• RQ5 기존 데이터셋의 데이터 누출 및 낮은 품질의 정제로 인해 보고된 성능이 과도하게 높아지는 경우가 얼마나 많은가? 이를 어떻게 완화할 수 있는가?

주요 결과

• MegaDescriptor-L-384는 최신 기술 수준의 성능을 달성하여 AAUZebraFish에서 99.93%의 정확도, StripeSpotter에서 98.17%의 정확도, HyenaID2022에서 78.41%의 정확도를 기록한다.
• 가장 큰 MegaDescriptor 버전(L-384)은 다른 버전보다 뚜렷한 성능 향상을 보이며, FriesianCattle2017에서 최대 2.53% 향상되고 LeopardID2022에서 0.48% 향상된다.
• MegaDescriptor는 CLIP 및 DINOv2를 상당한 격차로 능가한다. 특히 HumpbackWhaleID(77.81% 대 DINOv2의 51.83%)나 HappyWhale(34.30% 대 CLIP의 20.07%)와 같은 도전적인 데이터셋에서 두드러진다.
• 제거 분석 결과, 모델 크기와 입력 해상도가 성능과 강하게 상관관계가 있음을 확인했으며, MegaDescriptor-L-384는 29개 모든 데이터셋에서 더 작은 버전을 뛰어넘는 일관된 성능을 보였다.
• 툴킷은 데이터셋 간 일致한 평가를 가능하게 하여, 많은 기존 벤치마크가 데이터 누출과 과도한 성능 향상 문제를 야기한다는 것을 드러내었으며, 표준화된 분할을 통해 이 문제를 완화하는 데 기여한다.
• 가장 큰 MegaDescriptor 버전(L-384)은 AerialCattle2017, OpenCows2020, SMALST에서 100%의 정확도를 달성하여 고품질, 패턴이 풍부한 데이터셋에서 강력한 일반화 능력을 보였다.