[논문 리뷰] Automatic individual pig detection and tracking in surveillance videos

Lei Zhang, Helen Gray외 3명|arXiv (Cornell University)|2018. 12. 12.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 13

한 줄 요약

이 논문은 조명 변화, 가림, 유사한 외형 등 도전적인 조건에서도 감시 영상에서 개별 돼지를 실시간으로 끝에서 끝까지 자동으로 감지하고 추적하는 방법을 제안한다. 다중 척도 컨볼루션 신경망 검출기와 상관 필터 트래커를 계층적 데이터 연동 알고리즘을 통해 결합하여, 온라인 검출 보정과 드리프트 보정이 가능한 강력한 추적을 가능하게 하며, 수동 마킹 없이 실제 농장 데이터셋에서 높은 정확도를 달성한다.

ABSTRACT

Individual pig detection and tracking is an important requirement in many video-based pig monitoring applications. However, it still remains a challenging task in complex scenes, due to problems of light fluctuation, similar appearances of pigs, shape deformations and occlusions. To tackle these problems, we propose a robust real time multiple pig detection and tracking method which does not require manual marking or physical identification of the pigs, and works under both daylight and infrared light conditions. Our method couples a CNN-based detector and a correlation filter-based tracker via a novel hierarchical data association algorithm. The detector gains the best accuracy/speed trade-off by using the features derived from multiple layers at different scales in a one-stage prediction network. We define a tag-box for each pig as the tracking target, and the multiple object tracking is conducted in a key-points tracking manner using learned correlation filters. Under challenging conditions, the tracking failures are modelled based on the relations between responses of detector and tracker, and the data association algorithm allows the detection hypotheses to be refined, meanwhile the drifted tracks can be corrected by probing the tracking failures followed by the re-initialization of tracking. As a result, the optimal tracklets can sequentially grow with on-line refined detections, and tracking fragments are correctly integrated into respective tracks while keeping the original identifications. Experiments with a dataset captured from a commercial farm show that our method can robustly detect and track multiple pigs under challenging conditions. The promising performance of the proposed method also demonstrates a feasibility of long-term individual pig tracking in a complex environment and thus promises a commercial potential.

연구 동기 및 목표

• 수동 마킹이나 물리적 태그 없이 복잡한 농장 감시 환경에서 실시간으로 개별 돼지 감지 및 추적을 가능하게 하기.
• 영상 기반 돼지 모니터링에서 조도 변동, 돼지 외형 유사성, 형태 변형 및 가림과 같은 과제를 해결하기.
• 드리프트 보정과 검출 보정 및 실패 모델링을 통한 분리된 트랙 재결합을 통한 강력한 추적 시스템 개발하기.
• 실제 농장 영상 데이터를 사용하여 상업적 농업 환경에서 장기적인 개별 돼지 추적의 가능성을 입증하기.

제안 방법

• 다중 스케일 CNN 기반 검출기는 다양한 척도의 다층 특징을 활용하여 돼지 감지에서 최적의 정확도-속도 균형을 달성한다.
• 상관 필터 기반 트래커를 사용하여 키포인트 추적 방식으로 돼지를 추적함으로써 실시간 성능을 확보한다.
• 검출기와 트래커 반응 관계를 모델링하여 추적 실패를 고려한 새로운 계층적 데이터 연동 알고리즘을 도입한다.
• 실패 탐지 및 필요 시 트래커 재초기화를 통해 검출 가설을 보완하고 드리프트된 트랙을 보정한다.
• 각 돼지의 추적 대상으로 태그 박스를 정의하여 정체성 유지가 보장된 최적의 트랙릿을 순차적으로 구축한다.
• 일광 및 적외선 조건 모두에서 작동하여 다양한 조도 조건에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 수동 마킹이나 물리적 태그 없이 실시간으로 자동으로 돼지 감지 및 추적 시스템을 개발할 수 있는가?
• RQ2 가림과 외형 변화가 있는 복잡한 영상 환경에서 추적 드리프트와 분리된 트랙을 효과적으로 보정할 수 있는가?
• RQ3 검출 보정과 실패 모델링을 통합함으로써 계층적 데이터 연동 알고리즘이 추적 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법이 일광 외에도 적외선 조건을 포함한 다양한 조도 조건에서 높은 정확도와 안정성을 유지할 수 있는가?
• RQ5 실제 농장 감시 영상 데이터에서 장기적인 개별 돼지 추적 성능은 어떠한가?

주요 결과

• 제안된 방법은 심한 조명 변화와 가림 조건에서도 다수의 돼지에 대해 강력한 감지 및 추적 성능을 달성한다.
• 계층적 데이터 연동 알고리즘이 온라인 검출 보정을 통해 분리된 트랙릿을 정합성 있고 정체성 유지가 보장된 트랙릿으로 통합하는 데 성공한다.
• 응답 분석을 통한 트래커 실패 모델링과 필요 시 트래커 재초기화를 통해 추적 드리프트가 효과적으로 보정된다.
• 실제 상업 농장 데이터셋에서 높은 성능을 보이며 장기적인 개별 돼지 모니터링의 가능성을 입증한다.
• 시스템은 실시간으로 작동하며 일광 및 적외선 조건 모두에서 효과적이므로 상업 농업 응용 분야에서의 실용성을 향상시킨다.