[论文解读] Towards Individual Grevy's Zebra Identification via Deep 3D Fitting and Metric Learning

Maria Stennett, Daniel I. Rubenstein+1 more|Explore Bristol Research|Jun 5, 2022

Identification and Quantification in Food被引用 5

一句话总结

本文提出了一种新颖的深度学习流水线，通过结合3D模型拟合与度量学习，实现对单个格里维氏斑马的识别，以实现视角归一化并减少纹理形变。在SMALST数据集上，该方法通过将3D拟合的纹理反投影，将top-1准确率从2D基线的48.0%提升至56.8%，首次实现了端到端的3D感知、度量学习驱动的动物生物识别方法，并具备开放集适用性。

ABSTRACT

This paper combines deep learning techniques for species detection, 3D model fitting, and metric learning in one pipeline to perform individual animal identification from photographs by exploiting unique coat patterns. This is the first work to attempt this and, compared to traditional 2D bounding box or segmentation based CNN identification pipelines, the approach provides effective and explicit view-point normalisation and allows for a straight forward visualisation of the learned biometric population space. Note that due to the use of metric learning the pipeline is also readily applicable to open set and zero shot re-identification scenarios. We apply the proposed approach to individual Grevy's zebra (Equus grevyi) identification and show in a small study on the SMALST dataset that the use of 3D model fitting can indeed benefit performance. In particular, back-projected textures from 3D fitted models improve identification accuracy from 48.0% to 56.8% compared to 2D bounding box approaches for the dataset. Whilst the study is far too small accurately to estimate the full performance potential achievable in larger-scale real-world application settings and in comparisons against polished tools, our work lays the conceptual and practical foundations for a next step in animal biometrics towards deep metric learning driven, fully 3D-aware animal identification in open population settings. We publish network weights and relevant facilitating source code with this paper for full reproducibility and as inspiration for further research.

研究动机与目标

• 开发一种统一的深度学习流水线，用于个体动物识别，通过3D模型拟合显式处理视角变化。
• 通过3D拟合对毛皮图案纹理进行归一化，减少姿态和视角带来的形变，从而提高个体重新识别的准确率。
• 通过在姿态归一化的潜在空间中利用度量学习，实现开放集和零样本重新识别。
• 利用公开可用的数据和代码，建立可复现的、端到端的3D感知动物生物识别系统。
• 可视化并分析学习到的生物特征人群空间，以获得生态学和行为学方面的洞见。

提出的方法

• 该流水线集成了四个组件：(1) MegaDetector 用于动物检测和2D定位，(2) Microsoft AI for Earth API 用于物种确认，(3) 基于SMALST的3D斑马模型拟合，用于生成姿态归一化的纹理图，(4) 在归一化纹理上使用ResNet驱动的度量学习。
• 3D拟合在15,000张合成SMALST图像上进行训练，采用210个周期的训练计划，使用P100 GPU，以Percentage of Correct Keypoints (PCK)@0.1为优化目标。
• 度量学习在每个个体的50张增强训练图像（25×增强）上进行，采用在线三元组挖掘与'batch hard'采样策略，并使用互惠三元组损失。
• 通过t-SNE对身份空间进行可视化，测试图像在学习到的128维潜在空间中使用k-最近邻（k-NN）进行分类。
• 训练使用批量大小为8，初始初始学习率为0.1，度量空间学习训练200个周期，基于验证性能进行早停。
• 由于度量学习框架的支持，系统支持开放集重新识别，能够检测未知个体。

实验结果

研究问题

• RQ1 与2D基线方法相比，3D模型拟合是否能提升格里维氏斑马个体识别的准确率？
• RQ2 通过3D拟合实现的视角归一化在多大程度上减少了纹理形变并提升了度量学习性能？
• RQ3 在小规模数据集上训练的深度度量学习框架是否能泛化到开放集和零样本重新识别场景？
• RQ4 可视化后的潜在身份空间在多大程度上反映了种群结构和个体聚类？
• RQ5 在真实生态应用中，3D拟合、物种识别与度量学习的集成是否可在全自动流水线中实现？

主要发现

• 3D拟合流水线将SMALST数据集上的top-1识别准确率从2D基线的48.0%提升至56.8%，证明了性能的显著提升。
• 使用反投影的3D纹理使学习到的128维身份空间中聚类更清晰，通过t-SNE可视化可明显看出，表明特征分离更优。
• 尽管数据集较小，系统仍表现出过拟合现象，部分测试样本无法通过k-NN可靠分类，表明需要更大规模的训练数据。
• 度量学习框架支持开放集和零样本重新识别，使系统适用于存在未知个体的真实世界场景。
• 该流水线成功将物种识别、3D拟合与度量学习整合为单一自动化工作流，相关代码与权重已公开，具备可复现性。
• 本研究证实，3D感知的、姿态归一化的纹理提取可显著提升生物特征性能，即使在初步评估中亦表现明显优势。