[論文レビュー] Automatic individual pig detection and tracking in surveillance videos

Lei Zhang, Helen Gray+3 more|arXiv (Cornell University)|Dec 12, 2018

Video Surveillance and Tracking Methods参考文献 29被引用数 13

ひとこと要約

本論文は、照明の変化、隠蔽、外見の類似性といった困難な状況下でも、監視動画における個体識別 pigs のリアルタイムでエンドツーエンドの検出とトラッキングを実現する手法を提案する。マルチスケール CNN デテクタと相関フィルタトラッカーを階層的データ関連アルゴリズムで統合することで、オンラインでの検出精度の向上とドリフト補正が可能となり、手動でのマークアップなしに実農場データセットで高い精度を達成した。

ABSTRACT

Individual pig detection and tracking is an important requirement in many video-based pig monitoring applications. However, it still remains a challenging task in complex scenes, due to problems of light fluctuation, similar appearances of pigs, shape deformations and occlusions. To tackle these problems, we propose a robust real time multiple pig detection and tracking method which does not require manual marking or physical identification of the pigs, and works under both daylight and infrared light conditions. Our method couples a CNN-based detector and a correlation filter-based tracker via a novel hierarchical data association algorithm. The detector gains the best accuracy/speed trade-off by using the features derived from multiple layers at different scales in a one-stage prediction network. We define a tag-box for each pig as the tracking target, and the multiple object tracking is conducted in a key-points tracking manner using learned correlation filters. Under challenging conditions, the tracking failures are modelled based on the relations between responses of detector and tracker, and the data association algorithm allows the detection hypotheses to be refined, meanwhile the drifted tracks can be corrected by probing the tracking failures followed by the re-initialization of tracking. As a result, the optimal tracklets can sequentially grow with on-line refined detections, and tracking fragments are correctly integrated into respective tracks while keeping the original identifications. Experiments with a dataset captured from a commercial farm show that our method can robustly detect and track multiple pigs under challenging conditions. The promising performance of the proposed method also demonstrates a feasibility of long-term individual pig tracking in a complex environment and thus promises a commercial potential.

研究の動機と目的

• 手動でのマークアップや物理的タグの使用を要せず、複雑な農場監視環境において自動的かつリアルタイムに個体識別ブタの検出とトラッキングを可能にすること。
• 動画ベースのブタ監視において、照明の変動、ブタの外見の類似性、形状の変形、隠蔽といった課題に対処すること。
• ドリフト補正とトラッキング断片化の是正を可能にする、検出精度の向上と障害モデル化を統合した耐障害性の高いトラッキングシステムの開発。
• 実世界の動画データを用いた商業的農場環境における長期的個体識別ブタトラッキングの実現可能性を示すこと。

提案手法

• マルチスケールの特徴を異なるスケールの複数の層から抽出することで、精度と速度の最適なトレードオフを達成するワンステージ CNN ベースの検出器を採用する。
• キーポイントトラッキング方式でブタを追跡する相関フィルタベースのトラッカーを用い、リアルタイム性能を実現する。
• トラッキング障害を検出器とトラッカーの応答関係をモデル化することで、検出結果とトラックを階層的に関連付ける新しい階層的データ関連アルゴリズムを提案する。
• 障害の特定と再初期化を実施することで、検出仮説の精錬とずれたトラックの補正を可能にする。
• 各ブタをトラッキング対象としてタグボックスとして定義し、識別子を保持したまま最適なトラックレットを逐次構築可能にする。
• 日中および赤外線条件の両方で動作可能であり、変動する照明条件における耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 手動でのマークアップや物理的タグの使用を要せず、リアルタイムで自動的なブタ検出とトラッキングシステムを開発することは可能か？
• RQ2 隠蔽や外見の変化が生じる複雑な動画シーンにおいて、トラッキングのドリフトと断片化されたトラックを効果的に是正する方法は何か？
• RQ3 検出精度の向上と障害モデル化を統合することで、階層的データ関連アルゴリズムがトラッキングの耐障害性をどの程度向上させ得るか？
• RQ4 提案手法は、赤外線を含む多様な照明条件下でも高い精度と安定性を維持できるか？
• RQ5 実世界の農場監視データを用いた長期的個体識別ブタトラッキングにおいて、本システムの性能はいかほどか？

主な発見

• 提案手法は、顕著な照明変化や隠蔽状況下でも、複数頭のブタの検出とトラッキングを耐障害的に実現した。
• 階層的データ関連アルゴリズムにより、オンラインでの検出精度の向上を活用し、断片化されたトラックレットが識別子を保持したまま一貫性のあるトラックレットに統合された。
• トラッカーの障害を応答解析によってモデル化し、必要に応じてトラッカーを再初期化することで、ドリフトの効果的な補正が可能となった。
• 実商業農場データセット上で優れた性能を示し、長期的個体識別ブタ監視の実現可能性を裏付けた。
• 本手法はリアルタイムで動作し、日中および赤外線条件の両方で有効であり、商業農業における実用的応用性を高めた。