[論文レビュー] CattleFace-RGBT: RGB-T Cattle Facial Landmark Benchmark

Ethan Coffman, Reagan Clark+6 more|arXiv (Cornell University)|Jun 5, 2024

Textile materials and evaluationsMaterials Science被引用数 3

ひとこと要約

本論文では、2,300組の画像ペアと顔面特徴（目、耳、口元、鼻孔など）に注釈された13個のキーポイントを備えた、最初のRGB-T（RGBおよび赤外）牛顔面特徴点データセット「CattleFace-RGBT」を紹介する。AI支援半自動アノテーションパイプラインを用い、RGB画像から赤外画像への知識転送を行うことで、最先端モデルのベンチマークを実施し、今後の牛の健康モニタリングにおけるマルチモーダル顔面分析の分野において、ResNet101およびSwin-Bを強力なベースラインとして確立した。

ABSTRACT

To address this challenge, we introduce CattleFace-RGBT, a RGB-T Cattle Facial Landmark dataset consisting of 2,300 RGB-T image pairs, a total of 4,600 images. Creating a landmark dataset is time-consuming, but AI-assisted annotation can help. However, applying AI to thermal images is challenging due to suboptimal results from direct thermal training and infeasible RGB-thermal alignment due to different camera views. Therefore, we opt to transfer models trained on RGB to thermal images and refine them using our AI-assisted annotation tool following a semi-automatic annotation approach. Accurately localizing facial key points on both RGB and thermal images enables us to not only discern the cattle's respiratory signs but also measure temperatures to assess the animal's thermal state. To the best of our knowledge, this is the first dataset for the cattle facial landmark on RGB-T images. We conduct benchmarking of the CattleFace-RGBT dataset across various backbone architectures, with the objective of establishing baselines for future research, analysis, and comparison. The dataset and models are at https://github.com/UARK-AICV/CattleFace-RGBT-benchmark

研究の動機と目的

• 牛顔面特徴点検出に向けたRGBと赤外画像を統合したマルチモーダルデータセットの不足を解消すること。
• 顔面特徴点の局所化と体温測定を組み合わせることで、牛の健康状態を正確かつ自動的に評価すること。
• 赤外画像のアノテーションにおける課題を、RGBデータから赤外データへのAI支援転移学習アプローチにより克服すること。
• 新規で実世界の牛データセットを用いたキーポイント検出モデルのパフォーマンスベースラインを確立すること。
• 顔の表情と赤外状態分析を統合することで、AI駆動の牛の健康状態監視を前進させること。

提案手法

• 2,300組のRGBおよび赤外画像ペアを農場から収集し、目、耳、口元、鼻孔、口など顔面特徴に13個のキーポイントを注釈した。
• 自社開発のC#アノテーションツールにより、AIが生成した特徴点の正確な手動補正が可能で、高精度なアノテーションを実現した。
• 半自動アノテーションパイプラインにより、事前にRGBで訓練されたモデルの初期キーポイント予測を赤外画像に転送し、その後に人間によるフィードバックを組み込む形で精錬した。
• 赤外画像の性能が不十分なため、直接的な赤外モデル学習を避ける一方で、カメラ視点のズレによるアライメント問題も回避した。
• ResNet50、ResNet101、ViT-B、Swin-Bといったバックボーンネットワークを、標準的なAP、AP50、AP75指標を用いてDetectron2フレームワークで評価した。
• 学習には70/30のトレーニング・テスト分割を採用し、バッチサイズ16、AdamW最適化手法、初期学習率1e-6を設定した。

Figure 1 : Example of RGB and thermal pair image with 13 annotated keypoints annotated in our CattleFace-RGBT dataset.

実験結果

リサーチクエスチョン

• RQ1 既存のキーポイント検出モデルは、新規のRGB-T牛顔面特徴点データセット上でどれほど効果的か？
• RQ2 RGBベースのモデルから得た知識を、赤外画像における正確な特徴点アノテーションに効果的に転送できるか？
• RQ3 赤外牛顔面データに対して、CNNベースとTransformerベースのバックボーンのパフォーマンスにどのような差があるか？
• RQ4 AI支援転送学習を用いた場合と手作業のみのラベル付けを比較した場合、アノテーションの品質と効率性にどのような差があるか？
• RQ5 マルチモーダル牛顔面データにおけるキーポイント検出のベースラインパフォーマンス指標は何か？

主な発見

• RGB画像において、ResNet101が最高の全体的パフォーマンスを示し、ボクシングボックス検出で76.12 AP、キーポイント検出で94.37 APを達成した。
• 赤外画像においても、ResNet101がすべての指標で最高スコアを記録し、ボクシングボックス検出で72.30 AP、キーポイント検出で64.60 APを達成した。
• RGB画像におけるボクシングボックス検出で、Swin-BがAP50とAP75ともに100.00を記録し、高IOU閾値でも優れた性能を示した。
• 赤外画像のパフォーマンスはRGB画像に比べ顕著に低く、APスコアが最大20–30ポイント低下した。これは赤外データに由来するコントラストとテクスチャの低さが主な要因と考えられる。
• RGB画像におけるキーポイント検出で、すべてのモデルが100.00のAP50を達成しており、50%のIOU閾値でも優れた性能を示した。
• AI支援アノテーションパイプラインにより、赤外画像の品質の悪さやカメラ視点のズレといった課題にもかかわらず、効率的かつ高精度な特徴点アノテーションが可能になった。

Figure 2 : Examples of undesired images.