[論文レビュー] Towards Individual Grevy's Zebra Identification via Deep 3D Fitting and Metric Learning

Maria Stennett, Daniel I. Rubenstein+1 more|Explore Bristol Research|Jun 5, 2022

Identification and Quantification in Food被引用数 5

ひとこと要約

本論文は、視点の変化を正規化し、テクスチャ変形を低減するために3次元モデルフィッティングとメトリック学習を統合することで、個体別グレヴィーイ・ジークレの識別に向けた新しい深層学習パイプラインを提案する。SMALSTデータセットを用いて、3次元フィットしたテクスチャをバックプロジェクションすることで、2Dベースラインのトップ1正答率48.0%から56.8%に向上させた。これは、オープンセット適用性を備えた、初めてのエンドツーエンドの3次元対応でメトリック学習駆動の動物バイオメトリクス手法である。

ABSTRACT

This paper combines deep learning techniques for species detection, 3D model fitting, and metric learning in one pipeline to perform individual animal identification from photographs by exploiting unique coat patterns. This is the first work to attempt this and, compared to traditional 2D bounding box or segmentation based CNN identification pipelines, the approach provides effective and explicit view-point normalisation and allows for a straight forward visualisation of the learned biometric population space. Note that due to the use of metric learning the pipeline is also readily applicable to open set and zero shot re-identification scenarios. We apply the proposed approach to individual Grevy's zebra (Equus grevyi) identification and show in a small study on the SMALST dataset that the use of 3D model fitting can indeed benefit performance. In particular, back-projected textures from 3D fitted models improve identification accuracy from 48.0% to 56.8% compared to 2D bounding box approaches for the dataset. Whilst the study is far too small accurately to estimate the full performance potential achievable in larger-scale real-world application settings and in comparisons against polished tools, our work lays the conceptual and practical foundations for a next step in animal biometrics towards deep metric learning driven, fully 3D-aware animal identification in open population settings. We publish network weights and relevant facilitating source code with this paper for full reproducibility and as inspiration for further research.

研究の動機と目的

• 視点の変化を明示的に取り扱うために3次元モデルフィッティングを用いる統合的深層学習パイプラインを、個体別動物識別に開発すること。
• 3次元フィッティングによるコートパターンテクスチャの正規化により、ポーズや視点に起因する変形を低減し、個体再識別における正答率を向上させること。
• ポーズ正規化された潜在空間におけるメトリック学習を活用することで、オープンセットおよびゼロショット再識別を可能とすること。
• 公開済みのデータとコードを用いて、再現可能でエンドツーエンドの3次元対応動物バイオメトリクスシステムを構築すること。
• 生態的・行動的洞察を得るため、学習されたバイオメトリック集団空間の可視化と分析を行うこと。

提案手法

• パイプラインは4つのコンponentを統合する：(1) 動物検出と2次元ローカライゼーションのためのMegaDetector、(2) 種の確認のためのMicrosoft AI for Earth API、(3) SMALSTベースの3次元シマウマモデルフィッティングによるポーズ正規化テクスチャマップの生成、(4) 正規化されたテクスチャ上でのResNet駆動のメトリック学習。
• 3次元フィッティングは、P100 GPUを用い、210エポックのトレーニングスケジュールで、15,000枚の合成SMALST画像を用いて訓練され、Percentage of Correct Keypoints (PCK)@0.1を最適化する。
• メトリック学習は、個体1人あたり50枚の増強画像（25×増強）を用い、オンラインのトリプレットマイニングと「バッチハード」サンプリング、および逆転トリプレット損失を用いて実施される。
• アイデンティティ空間はt-SNEを用いて可視化され、テスト画像は学習された128次元潜在空間におけるk-近傍法（k-NN）を用いて分類される。
• トレーニングはバッチサイズ8、初期学習率0.1、200エポックで実施され、検証性能に基づく早期停止が適用される。
• メトリック学習フレームワークのおかげで、未知の個体の検出が可能となり、オープンセット再識別が可能である。

実験結果

リサーチクエスチョン

• RQ1 2次元ベースライン手法と比較して、3次元モデルフィッティングはグレヴィーイ・ジークレの個体識別精度を向上させることができるか？
• RQ2 3次元フィッティングによる視点正規化は、テクスチャ変形をどの程度低減させ、メトリック学習性能を向上させるか？
• RQ3 小さなデータセットで訓練された深層メトリック学習フレームワークは、オープンセットおよびゼロショット再識別シナリオに一般化可能か？
• RQ4 可視化された潜在アイデンティティ空間は、集団構造と個体クラスタリングをどの程度反映しているか？
• RQ5 3次元フィッティング、種の認識、メトリック学習の統合は、実世界の生態学的応用に向けた完全自動化されたパイプラインとして実現可能か？

主な発見

• 3次元フィッティングパイプラインにより、SMALSTデータセット上でのトップ1識別正答率が2Dベースラインの48.0%から56.8%に向上し、明確な性能向上が確認された。
• バックプロジェクションされた3次元テクスチャの使用により、t-SNEで可視化された128次元アイデンティティ空間において、よりクリアなクラスタリングが得られた。これは、特徴量の分離が良好であることを示している。
• 小さなデータセットにもかかわらず、過学習が見られた。一部のテストサンプルがk-NNで信頼性なく分類されたため、より大きなトレーニングデータの必要性が示唆された。
• メトリック学習フレームワークのおかげで、オープンセットおよびゼロショット再識別が可能となり、未知の個体が存在する実世界のシナリオへの適用が可能となった。
• パイプラインは、種の認識、3次元フィッティング、メトリック学習を1つの自動ワークフローに成功して統合し、再現可能性を確保するためのコードと重みを公開した。
• 本研究は、3次元対応でポーズ正規化されたテクスチャ抽出が、初期評価でもバイオメトリクス性能を向上させることを確認した。