[논문 리뷰] Multispecies Animal Re-ID Using a Large Community-Curated Dataset

Lasha Otarashvili, Tamilselvan Subramanian외 3명|arXiv (Cornell University)|2024. 12. 07.

Identification and Quantification in FoodBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 49개 종, 37,138명의 개체, 225,374장의 이미지를 포함한 대규모 커뮤니티가 정리한 데이터셋을 기반으로, EfficientNetV2 백본과 동적 마진을 가진 서브센터 ArcFace 손실을 사용해 훈련된 다종간 동물 재식별 모델인 MiewID를 제안한다. 이 모델은 단일 종 기반 모델 대비 평균 12.5%의 상위-1 정확도 향상을 기록하며, 새로운 종에 대해 MegaDescriptor보다도 유의미하게 뛰어난 성능을 보이며, 33종에 걸쳐 평균 19.2%의 상위-1 정확도 향상을 기록한다.

ABSTRACT

Recent work has established the ecological importance of developing algorithms for identifying animals individually from images. Typically, a separate algorithm is trained for each species, a natural step but one that creates significant barriers to wide-spread use: (1) each effort is expensive, requiring data collection, data curation, and model training, deployment, and maintenance, (2) there is little training data for many species, and (3) commonalities in appearance across species are not exploited. We propose an alternative approach focused on training multi-species individual identification (re-id) models. We construct a dataset that includes 49 species, 37K individual animals, and 225K images, using this data to train a single embedding network for all species. Our model employs an EfficientNetV2 backbone and a sub-center ArcFace loss function with dynamic margins. We evaluate the performance of this multispecies model in several ways. Most notably, we demonstrate that it consistently outperforms models trained separately on each species, achieving an average gain of 12.5% in top-1 accuracy. Furthermore, the model demonstrates strong zero-shot performance and fine-tuning capabilities for new species with limited training data, enabling effective curation of new species through both incremental addition of data to the training set and fine-tuning without the original data. Additionally, our model surpasses the recent MegaDescriptor on unseen species, averaging an 19.2% top-1 improvement per species and showing gains across all 33 species tested. The fully-featured code repository is publicly available on GitHub, and the feature extractor model can be accessed on HuggingFace for seamless integration with wildlife re-identification pipelines. The model is already in production use for 60+ species in a large-scale wildlife monitoring system.

연구 동기 및 목표

• 각 동물 종에 대해 별도의 재식별 모델을 훈련하는 데 드는 높은 비용과 확장성의 장벽을 해결하기 위해.
• 다양한 종을 동시에 훈련한 단일 모델이 종별 특화 모델보다 성능이 향상되는지 탐색하기 위해.
• 제한된 훈련 데이터로 새로운, 훈련에 사용되지 않은 종에 대해 모델의 제로샷 일반화 능력과 파인튜닝 성능을 평가하기 위해.
• 각 종에 맞는 모델 재훈련 및 배포가 필요 없도록, 효율적이고 대규모의 야생 생물 모니터링을 가능하게 하기 위해.

제안 방법

• 59개의 다양한 데이터셋에서 유래한 49개 종, 37,138명의 개체, 225,374장의 주석이 달린 이미지를 포함한 대규모 다종간 커뮤니티 정리 데이터셋을 구축하였다.
• Eff율리언트넷V2-M 백본과 동적 마진을 가진 서브센터 ArcFace 손실을 사용하여, 상위 클래스 간 및 하위 클래스 간의 분류 성능을 향상시키기 위해 단일 임베딩 네트워크를 훈련시켰다.
• 훈련 중에 볼 수 없었던 종에 대해 제로샷 추론을 통해 모델 성능을 평가하고, 제한된 데이터로 새로운 종에 대해 파인튜닝을 수행하며, 단일 종 기반 훈련 기준 모델과 비교하였다.
• 33개의 새로운 종에 대해 최근의 MegaDescriptor 모델과 성능을 비교하여 일반화 능력과 강건성을 평가하였다.
• 백본의 효율성을 탐색하기 위해 EfficientNetV2-M와 SwinV2-Base를 비교하였으며, 이 작업에서 EfficientNetV2-M가 더 뛰어난 성능을 보였다.
• GitHub에 전체 코드베이스를 공개하고, HuggingFace에서 모델 가중치를 공개하여 야생 생물 모니터링 파이프라인에 통합할 수 있도록 하였다.

Figure 1 : Comparison of top-1 performance of multi-species and single-species models. Species are ordered by increasing numbers of sightings.

실험 결과

연구 질문

• RQ1 여러 종을 동시에 훈련한 단일 모델이 각 종에 대해 별도로 훈련한 모델보다 성능이 향상되는가?
• RQ2 훈련 중에 볼 수 없었던 종에 대해 다종간 모델의 일반화 능력은 얼마나 뛰어나며, 특히 최소한의 데이터로도 성능이 유지되는가?
• RQ3 소수의 주석이 달린 이미지(예: 25~200장)로 새로운 종에 대해 효과적으로 파인튜닝이 가능한가?
• RQ4 기존의 다종간 훈련 세트에 새로운 종의 데이터를 직접 통합하는 것이 파인튜닝 또는 초기부터 재훈련하는 것보다 성능이 뛰어나게 되는가?
• RQ5 백본 아키텍처의 선택(예: EfficientNetV2 vs. 비전 트랜스포머)이 다종간 동물 재식별 성능에 어떤 영향을 미치는가?

주요 결과

• 다종간 MiewID 모델은 단일 종 기반 모델 대비 평균 12.5%의 상위-1 정확도 향상을 기록하였으며, 종별로는 -0.2%에서 77.3%까지의 성능 향상이 관찰되었다.
• 33개의 새로운 종에 대해 MiewID는 MegaDescriptor보다 평균 19.2%의 상위-1 정확도 향상을 기록하며, 강력한 제로샷 일반화 능력을 입증하였다.
• 제한된 데이터(예: 25~200장의 이미지)로 MiewID를 파인튜닝한 결과, 특히 소규모 데이터셋에서 단일 종 기반 훈련과 비교해도 성능이 유사하거나 뛰어나게 되었다.
• 기존의 다종간 훈련 세트에 새로운 종의 데이터를 직접 통합하는 것은 파인튜닝만 하는 것보다 일관되게 더 좋은 성능을 내는 것으로 나타났다.
• EfficientNetV2-M 백본은 SwinV2-Base보다 평균 4.5% 높은 상위-1 정확도를 기록하여, 이 작업에 있어 더 나은 특징 학습 능력을 가짐을 시사하였다.
• 이미 Wildbook 야생 생물 모니터링 시스템에서 60여 종 이상에 대해 실시간 운영 중이며, 실제 적용에서의 확장성과 실용성을 입증하였다.

Figure 2 : Top-5 performance comparison per species for model trained on the full dataset and model trained on all species except the test species