[論文レビュー] Towards Automatic Identification of Elephants in the Wild

Matthias Körschens, Björn Barz+1 more|arXiv (Cornell University)|Dec 11, 2018

Video Surveillance and Tracking Methods参考文献 8被引用数 31

ひとこと要約

本論文では、YOLOベースの頭部検出、事前学習済みResNet50特徴量、PCA、SVM分類を組み合わせたコンピュータビジョンシステムを提示する。このシステムにより、限られた訓練画像で個々のゾウの自動識別が可能となり、1頭あたり複数枚の画像を用いる場合、トップ1正答率74%、トップ10正答率88%を達成。これにより、部分的隠蔽や視点の変化に対する耐性が著しく向上する。

ABSTRACT

Identifying animals from a large group of possible individuals is very important for biodiversity monitoring and especially for collecting data on a small number of particularly interesting individuals, as these have to be identified first before this can be done. Identifying them can be a very time-consuming task. This is especially true, if the animals look very similar and have only a small number of distinctive features, like elephants do. In most cases the animals stay at one place only for a short period of time during which the animal needs to be identified for knowing whether it is important to collect new data on it. For this reason, a system supporting the researchers in identifying elephants to speed up this process would be of great benefit. In this paper, we present such a system for identifying elephants in the face of a large number of individuals with only few training images per individual. For that purpose, we combine object part localization, off-the-shelf CNN features, and support vector machine classification to provide field researches with proposals of possible individuals given new images of an elephant. The performance of our system is demonstrated on a dataset comprising a total of 2078 images of 276 individual elephants, where we achieve 56% top-1 test accuracy and 80% top-10 accuracy. To deal with occlusion, varying viewpoints, and different poses present in the dataset, we furthermore enable the analysts to provide the system with multiple images of the same elephant to be identified and aggregate confidence values generated by the classifier. With that, our system achieves a top-1 accuracy of 74% and a top-10 accuracy of 88% on the held-out test dataset.

研究の動機と目的

• 野生のゾウ個体を、最小限の訓練データと個体間の高い視覚的類似性を考慮して識別する課題に対処すること。
• 重要なデータ収集期間中に現地生物学者の作業時間と認知的負荷を低減すること。
• 部分的隠蔽、ポーズの変化、画像品質の低下といった実世界の条件下での識別精度を向上させること。
• 同じゾウの複数枚の画像を用いて分類器の信頼度スコアを集約することで、耐障害性の高い識別を可能とすること。
• 転移学習とアンサンブル戦略を用いた、少サンプル・少枚数の動物識別が可能であることを実証すること。

提案手法

• YOLOベースのオブジェクト検出器が入力画像内のゾウの頭部を局所化し、関心領域特徴量を抽出する。
• 事前学習済みResNet50の初期層および中間層からのオフザシェルフ特徴量を抽出し、小規模データセットにおける一般化性能を向上させる。
• 主成分分析（PCA）を用いて特徴量次元を低減しつつも、識別に寄与する情報を保持する。
• 次元削減後の特徴表現を用いて、SVM分類器を多クラス識別用に訓練する。
• 耐障害性を向上させるために、同じ未知のゾウの複数枚の画像を個別に処理し、その信頼度スコアを平均化または多数決によって統合する。
• ウェブインターフェースを介してシステムをデプロイし、現地生物学者がリアルタイムの識別作業を支援できるようにする。

実験結果

リサーチクエスチョン

• RQ1 少サンプル識別システムは、1クラスあたり4〜8枚の訓練画像でのみ、信頼性のある性能を達成できるか？
• RQ2 同じゾウの複数枚の画像を用いることで、部分的隠蔽や視点の変化下での分類精度にどのような影響を与えるか？
• RQ3 事前学習済みCNNの初期層からの特徴量抽出が、小規模かつ不均衡な野生動物データセットでの性能向上に寄与するか？
• RQ4 画像の品質が悪い、または部分的な特徴しか得られない状況において、データ拡張と信頼度集約が誤りをどれほど軽減できるか？
• RQ5 オブジェクト検出、転移学習、アンサンブル分類を組み合わせたパイプラインが、実世界の現場条件下で従来手法を上回る性能を示せるか？

主な発見

• 1枚の画像を用いた場合、ゾウの識別でトップ1正答率56%、トップ10正答率80%を達成する。
• 未知のゾウ1頭あたり2枚の画像を用いることで、トップ1正答率が74%、トップ10正答率が88%に向上し、複数枚の画像集約の有効性が示された。
• 8枚以上の訓練画像を持つゾウではトップ1正答率が70%を超えるが、4枚未塔の場合は30%未満にとどまり、データ不足が主な課題であることが浮き彫りになった。
• 初期および中間層のCNN特徴量を用い、PCAとSVMを組み合わせたアプローチが、ネットワークの最終層に依存するのとは比較にならないほど優れた性能を示した。
• 画像の反転によるデータ拡張により、SVMの一般化性能が向上し、特にデータが少ない状況で顕著に効果を示した。
• システムの性能はバウンディングボックスの品質に敏感であることが判明し、アンサンブルクローピング戦略による改善の余地があると考えられる。