[논문 리뷰] Towards Individual Grevy's Zebra Identification via Deep 3D Fitting and Metric Learning

Maria Stennett, Daniel I. Rubenstein외 1명|Explore Bristol Research|2022. 06. 05.

Identification and Quantification in Food인용 수 5

한 줄 요약

이 논문은 3D 모델 피팅과 메트릭 러닝을 융합하여 시야각을 정규화하고 질감 변형을 줄임으로써 개인별 그레비의 코끼리 식별을 위한 새로운 딥러닝 파이프라인을 제안한다. SMALST 데이터셋을 사용하여, 3D에 피팅된 질감을 역투영함으로써 2D 기준선의 상위-1 정확도 48.0%에서 56.8%로 향상시켰으며, 개방 집합 적용이 가능한 첫 번째 종합적인 3D 인지 가능하고 메트릭 러닝 기반의 동물 생체 인식 방법을 입증한다.

ABSTRACT

This paper combines deep learning techniques for species detection, 3D model fitting, and metric learning in one pipeline to perform individual animal identification from photographs by exploiting unique coat patterns. This is the first work to attempt this and, compared to traditional 2D bounding box or segmentation based CNN identification pipelines, the approach provides effective and explicit view-point normalisation and allows for a straight forward visualisation of the learned biometric population space. Note that due to the use of metric learning the pipeline is also readily applicable to open set and zero shot re-identification scenarios. We apply the proposed approach to individual Grevy's zebra (Equus grevyi) identification and show in a small study on the SMALST dataset that the use of 3D model fitting can indeed benefit performance. In particular, back-projected textures from 3D fitted models improve identification accuracy from 48.0% to 56.8% compared to 2D bounding box approaches for the dataset. Whilst the study is far too small accurately to estimate the full performance potential achievable in larger-scale real-world application settings and in comparisons against polished tools, our work lays the conceptual and practical foundations for a next step in animal biometrics towards deep metric learning driven, fully 3D-aware animal identification in open population settings. We publish network weights and relevant facilitating source code with this paper for full reproducibility and as inspiration for further research.

연구 동기 및 목표

• 3D 모델 피팅을 통해 시야각 변화를 명시적으로 다루는 통합된 딥러닝 파이프라인을 개발하여 개별 동물 식별을 위한 방법을 마련한다.
• 자세와 시점으로 인한 무늬의 변형을 줄이기 위해 3D 피팅을 통한 코트 무늬 질감의 정규화를 통해 재식별 정확도를 향상시킨다.
• 자세로 정규화된 잠재 공간에서 메트릭 러닝을 활용하여 개방 집합 및 제로샷 재식별을 가능하게 한다.
• 공개된 데이터와 코드를 사용하여 재현 가능하고 종단 간(end-to-end) 시스템을 구축하여 3D 인지 가능한 동물 생체 인식을 위한 기반을 마련한다.
• 생태학적 및 행동적 통찰을 얻기 위해 학습된 생체 인식 인구 공간을 시각화하고 분석한다.

제안 방법

• 이 파이프라인은 네 가지 구성 요소를 통합한다: (1) 동물 감지 및 2D 위치 지정을 위한 MegaDetector, (2) 종 확인을 위한 Microsoft AI for Earth API, (3) SMALST 기반 3D 코끼리 모델 피팅을 통한 자세 정규화 질감 지도 생성, (4) 정규화된 질감에 기반한 ResNet 기반 메트릭 러닝.
• 3D 피팅은 PCK@0.1 최적화를 목표로 15,000장의 합성 SMALST 이미지로 훈련되며, P100 GPU를 사용해 210 에포크의 훈련 스케줄을 적용한다.
• 메트릭 러닝은 개인당 50장의 증강된 훈련 이미지(25× 증강)를 사용하며, '배치 하드'(batch hard) 샘플링과 상호작용 트리플릿 손실을 사용한 온라인 트리플릿 마이닝을 수행한다.
• 정체성 공간은 t-SNE를 통해 시각화되며, 테스트 이미지는 학습된 128D 잠재 공간에서 k-최근접 이웃(k-NN)을 사용해 분류된다.
• 훈련는 배치 크기 8, 초기 학습률 0.1, 메트릭 공간 학습에 200 에포크를 사용하며, 검증 성능 기반 조기 정지 전략을 적용한다.
• 메트릭 러닝 프레임워크 덕분에 개방 집합 재식별이 가능해져, 알려지지 않은 개인의 탐지 기능을 제공한다.

실험 결과

연구 질문

• RQ1 2D 기준선 방법에 비해 3D 모델 피팅이 그레비의 코끼리 개인 식별 정확도 향상에 기여하는가?
• RQ2 3D 피팅을 통한 시야각 정규화가 질감 변형을 얼마나 줄이고 메트릭 러닝 성능을 향상시키는가?
• RQ3 소규모 데이터셋에서 훈련된 딥 메트릭 러닝 프레임워크가 개방 집합 및 제로샷 재식별 시나리오로 일반화 가능한가?
• RQ4 시각화된 잠재 정체성 공간은 인구 구조와 개인 클러스터링을 어떻게 반영하는가?
• RQ5 실제 생태학적 응용에 적합한 완전 자동화된 파이프라인에서 3D 피팅, 종 식별, 메트릭 러닝의 통합이 가능한가?

주요 결과

• 3D 피팅 파이프라인은 SMALST 데이터셋에서 2D 기준선의 상위-1 정확도 48.0%에서 56.8%로 향상시켜 명백한 성능 향상을 입증했다.
• 역투영된 3D 질감의 사용으로 t-SNE를 통한 시각화에서 더 깔끔한 클러스터링이 관찰되어, 더 나은 특징 분리가 이루어졌음을 시사한다.
• 작은 데이터셋에도 불구하고 과적합 현상이 발생하여, 일부 테스트 샘플이 k-NN를 통해 신뢰성 있게 분류되지 않아 더 큰 훈련 데이터가 필요함을 시사한다.
• 메트릭 러닝 프레임워크 덕분에 개방 집합 및 제로샷 재식별이 가능해져, 알려지지 않은 개인이 포함된 실제 시나리오에 적용 가능함을 입증했다.
• 이 파이프라인은 종 식별, 3D 피팅, 메트릭 러닝을 하나의 자동화된 워크플로우로 성공적으로 통합하였으며, 재현 가능성을 위해 코드와 가중치를 공개했다.
• 이 연구는 3D 인지 가능하고 자세로 정규화된 질감 추출이 조건부 평가에서도 생체 인식 성능 향상에 기여함을 확인했다.