[論文レビュー] Towards Self-Supervision for Video Identification of Individual Holstein-Friesian Cattle: The Cows2021 Dataset

Jing Gao, Tilo Burghardt+3 more|arXiv (Cornell University)|May 5, 2021

Food Supply Chain TraceabilityAgricultural and Biological Sciences被引用数 18

ひとこと要約

本論文は、これまでで最大のアイデンティティラベル付きホルスタイン・フレーゼン種の乳牛データセット「Cows2021」と、ビデオベースの個体識別を目的とした自己教師付きフレームワークを提案する。時間的変化に伴う被毛模様の一貫性を活用し、検出によるトラッキング、回転補正済みトラッキング・レコード、データ拡張、フレーム・トリプレット対照的学習を用いて、メトリクス埋め込み空間を学習する。その後、ガウス・ミックス モデル（GMM）を用いたクラスタリングにより、訓練時に手動でのアイデンティティラベルを一切使用せずに、57.0%のTop-1精度および76.9%のTop-4精度を達成する分類器を生成する。

ABSTRACT

In this paper we publish the largest identity-annotated Holstein-Friesian cattle dataset Cows2021 and a first self-supervision framework for video identification of individual animals. The dataset contains 10,402 RGB images with labels for localisation and identity as well as 301 videos from the same herd. The data shows top-down in-barn imagery, which captures the breed's individually distinctive black and white coat pattern. Motivated by the labelling burden involved in constructing visual cattle identification systems, we propose exploiting the temporal coat pattern appearance across videos as a self-supervision signal for animal identity learning. Using an individual-agnostic cattle detector that yields oriented bounding-boxes, rotation-normalised tracklets of individuals are formed via tracking-by-detection and enriched via augmentations. This produces a `positive' sample set per tracklet, which is paired against a `negative' set sampled from random cattle of other videos. Frame-triplet contrastive learning is then employed to construct a metric latent space. The fitting of a Gaussian Mixture Model to this space yields a cattle identity classifier. Results show an accuracy of Top-1 57.0% and Top-4: 76.9% and an Adjusted Rand Index: 0.53 compared to the ground truth. Whilst supervised training surpasses this benchmark by a large margin, we conclude that self-supervision can nevertheless play a highly effective role in speeding up labelling efforts when initially constructing supervision information. We provide all data and full source code alongside an analysis and evaluation of the system.

研究の動機と目的

• 視覚的乳牛識別システムの訓練における高コストなラベル付け作業を、自己教師学習を活用することで軽減すること。
• 研究用に利用可能な、ホルスタイン・フレーゼン種の乳牛で最大のアイデンティティラベル付きデータセットの作成と公開すること。
• 時間的変化に伴う被毛模様の一貫性を、動物のアイデンティティ学習の自己教師信号として活用する手法の開発。
• 実世界のビデオ環境下で、自己教師学習による表現学習が乳牛バイオメトリクス識別に実用的かどうかを評価すること。
• 生産レベルの乳牛識別システムにおける人間によるラベル付けを加速できるツールチェーンの提供。

提案手法

• 個体に依存しない乳牛検出器がRGBビデオフレームから方向付きバウンディングボックスを生成し、上位から見た小屋内の画像で乳牛を局所化する。
• 検出されたバウンディングボックスからトラッキング・バイ・検出によりトラッキング・レコードが作成され、スケールおよび方向が補正されて一貫性のある視覚的表現が得られる。
• 各トラッキング・レコード内でのポジティブサンプルセットの豊かさを高めるためにデータ拡張が適用され、外観の変動に強い耐性が向上する。
• フレーム・トリプレット対照的学習により、メトリクス埋め込み空間を学習する。ここで、アーキテクチャはトラッキング・レコード内のフレームであり、ポジティブは同じレコード内、ネガティブは異なるビデオからサンプリングされる。
• 学習された潜在空間にガウス・ミックス モデル（GMM）をフィットさせ、埋め込みをクラスタリングし、各クラスタを潜在的なアイデンティティとして割り当てる。
• システムの評価にはTop-N精度と調整済みランダ指数（ARI）を用い、クラスタの重複解析からアイデンティティ割り当てを導出する。

実験結果

リサーチクエスチョン

• RQ1 複数のビデオ間で被毛模様の外観に時間的一貫性が存在する場合、それが乳牛アイデンティティ学習の有効な自己教師信号として機能するか？
• RQ2 自己教師学習による表現学習は、乳牛識別システムにおける手動ラベル付けの必要性をどの程度低減できるか？
• RQ3 訓練時にアイデンティティラベルを一切使用しない大規模な乳牛再識別ベンチマークにおいて、対照的学習フレームワークにGMMベースのクラスタリングを組み合わせた手法の性能はどの程度か？
• RQ4 提案手法は、実世界での導入において人間のラベル付けを支援する信頼度順の候補アイデンティティリストを生成できるか？
• RQ5 完全に教師ありアプローチと比較して、自己教師学習によるバイオメトリクス識別性能の上限はどの程度か？

主な発見

• 提案された自己教師付きフレームワークは、テストセットで57.0%のTop-1精度および76.9%のTop-4精度を達成し、ラベル付け作業の削減が強く実現可能であることを示した。
• 調整済みランダ指数（ARI）が0.53であることは、GMMクラスタリングと正解のアイデンティティ割り当てとの間に意味的な構造的類似性があることを示している。
• 本手法により、信頼度順の候補アイデンティティリストの生成が可能であり、正しいアイデンティティが上位4候補内に含まれる確率は76.9%である。
• 訓練時に手動によるアイデンティティラベルを一切使用していないにもかかわらず、実用的な分類器が生成され、生産パイプラインにおける人間によるラベル付けの速度を著しく向上できる。
• 結果から、自己教師学習が視覚的乳牛識別システムの初期構築に有効に機能でき、特にその後のオープンセット微調整と組み合わせることで効果を発揮することが示された。
• 10,402枚のラベル付き画像と182頭の識別可能なホルスタイン・フレーゼン種の乳牛からなる301本のビデオを含むCows2021データセットは、これまでで最大の公開可能な同種のデータセットである。