[논문 리뷰] Detection and Tracking of Multiple Mice Using Part Proposal Networks

Zheheng Jiang, Zhihua Liu외 7명|arXiv (Cornell University)|2019. 06. 06.

Zebrafish Biomedical Research Applications인용 수 5

한 줄 요약

이 논문은 기하학적 제약 조건을 갖춘 베이지안 추론 정수선형계획모델과 부분 제안 네트워크를 사용하여 다수의 쥐를 표식 없이 감지하고 추적하는 딥러닝 기반의 방법을 제안한다. 이 방법은 다수의 쥐에 대한 부분 추적에서 최신 기술 수준의 정확도를 달성하며, 벤치마킹을 위해 도전적인 Multi-Mice PartsTrack 데이터셋을 도입한다.

ABSTRACT

The study of mouse social behaviours has been increasingly undertaken in neuroscience research. However, automated quantification of mouse behaviours from the videos of interacting mice is still a challenging problem, where object tracking plays a key role in locating mice in their living spaces. Artificial markers are often applied for multiple mice tracking, which are intrusive and consequently interfere with the movements of mice in a dynamic environment. In this paper, we propose a novel method to continuously track several mice and individual parts without requiring any specific tagging. Firstly, we propose an efficient and robust deep learning based mouse part detection scheme to generate part candidates. Subsequently, we propose a novel Bayesian Integer Linear Programming Model that jointly assigns the part candidates to individual targets with necessary geometric constraints whilst establishing pair-wise association between the detected parts. There is no publicly available dataset in the research community that provides a quantitative test-bed for the part detection and tracking of multiple mice, and we here introduce a new challenging Multi-Mice PartsTrack dataset that is made of complex behaviours and actions. Finally, we evaluate our proposed approach against several baselines on our new datasets, where the results show that our method outperforms the other state-of-the-art approaches in terms of accuracy.

연구 동기 및 목표

• 복잡한 교차 및 가림 현상이 자주 발생하는 사회적 상호작용 환경에서 다수의 쥐를 자동으로 표식 없이 추적하는 문제를 해결하기 위해.
• 인위적 표식 없이 쥐의 신체 부위(머리, 尾, 몸통)를 식별할 수 있는 견고한 부분 검출 시스템을 개발하기 위해.
• 신체 부위 할당과 기하학적 제약 조건을 통합하여 정체성 일관성을 향상시키는 공동 추적 프레임워크를 설계하기 위해.
• 다수의 쥐 신체 부위 검출 및 추적을 평가하기 위한 공개 가능하고 고품질의 데이터셋을 구축하기 위해.
• 이 방법이 머리, 尾, 몸통의 시각적 특성과 운동 특성이 유사한 다른 동물(예: 기린, 메뚜기)에도 일반화 가능한지 검증하기 위해.

제안 방법

• 두 개의 병렬 브랜치(부분 검출 및 몸통 검출)를 사용하여 고품질의 부분 및 몸통 제안을 생성하는 다단계 부분 제안 네트워크를 사용한다.
• 기하학적 제약 조건과 운동 일관성을 강제하면서 부분 후보를 개개인의 개체에 공동으로 할당하는 새로운 베이지안 추론 정수선형계획모델을 제안한다.
• 공간적 근접성, 외관 유사성, 시간적 일관성을 바탕으로 쌍별 부분 연관성을 통합한다.
• 복잡한 장면에서 검출의 견고성을 향상시키기 위해 훈련 중 하드 음성 마이닝을 적용한다.
• 학습된 기하학적 모델을 사용하여 부분에서 대상으로의 할당을 안내하고 ID 스위치를 감소시킨다.
• 복잡한 사회적 행동과 높은 가림 현상이 포함된 새로 도입된 Multi-Mice PartsTrack 데이터셋을 사용하여 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 부분 제안 네트워크가 복잡하고 가림이 많은 장면에서 쥐의 신체 부위(머리, 尾, 몸통)를 정확하고 견고하게 검출할 수 있는가?
• RQ2 기하학적 제약 조건과 쌍별 부분 연관성을 통합한 공동 최적화 프레임워크가 다수 쥐 추적에서 정체성 일관성을 향상시킬 수 있는가?
• RQ3 가림 상황 하에서 기존 최신 기술 대비 정확도와 견고성 측면에서 제안된 방법의 성능은 어떠한가?
• RQ4 제안된 추적 시스템이 유사한 시각적 및 운동 특성을 갖는 다른 종(예: 기린, 메뚜기)에 일반화 가능한가?
• RQ5 기하학적 제약 조건과 부분 연관성 모델링이 추적 성능과 ID 스위치 감소에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 Multi-Mice PartsTrack 데이터셋에서 모든 평가 기준선 대비 최고의 MOTA 스코어를 기록하여 뛰어난 추적 정확도를 입증한다.
• 이 방법은 가장 낮은 ID 스위치 수와 가장 높은 IDF1 스코어를 기록하여 시퀀스 간 정체성 일관성이 뛰어나다는 것을 보여준다.
• 기하학적 제약 조건 모델이 추적 속도에 가장 큰 영향을 미치며, 이는 그 계산 비용과 성능에 대한 중요성을 시사한다.
• 절단 실험을 통해 다단계 훈련 설계가 검출 및 추적의 견고성 향상에 효과적임을 확인한다.
• 이 방법은 다른 종으로의 일반화 성능도 뛰어나, 메뚜기 및 기린 데이터셋에서 머리, 尾, 몸통 검출 정확도가 100%에 도달한다.
• 정성적 결과는 이 방법이 가림 현상을 올바르게 처리하고 기존 방법(MDP 및 JPDAm)에서 흔히 발생하는 정체성 교환 문제를 방지함을 보여준다.