[论文解读] Detection and Tracking of Multiple Mice Using Part Proposal Networks

Zheheng Jiang, Zhihua Liu+7 more|arXiv (Cornell University)|Jun 6, 2019

Zebrafish Biomedical Research Applications被引用 5

一句话总结

本文提出了一种无标记、基于深度学习的方法，通过部件提议网络和贝叶斯推理整数线性规划模型，联合分配部件至个体并施加几何约束，以实现多只小鼠的检测与跟踪。该方法在多只小鼠部件跟踪任务中达到最先进性能，并引入了具有挑战性的 Multi-Mice PartsTrack 数据集用于基准测试。

ABSTRACT

The study of mouse social behaviours has been increasingly undertaken in neuroscience research. However, automated quantification of mouse behaviours from the videos of interacting mice is still a challenging problem, where object tracking plays a key role in locating mice in their living spaces. Artificial markers are often applied for multiple mice tracking, which are intrusive and consequently interfere with the movements of mice in a dynamic environment. In this paper, we propose a novel method to continuously track several mice and individual parts without requiring any specific tagging. Firstly, we propose an efficient and robust deep learning based mouse part detection scheme to generate part candidates. Subsequently, we propose a novel Bayesian Integer Linear Programming Model that jointly assigns the part candidates to individual targets with necessary geometric constraints whilst establishing pair-wise association between the detected parts. There is no publicly available dataset in the research community that provides a quantitative test-bed for the part detection and tracking of multiple mice, and we here introduce a new challenging Multi-Mice PartsTrack dataset that is made of complex behaviours and actions. Finally, we evaluate our proposed approach against several baselines on our new datasets, where the results show that our method outperforms the other state-of-the-art approaches in terms of accuracy.

研究动机与目标

• 解决在频繁遮挡的社交互动场景中对多只小鼠进行自动无标记跟踪的挑战。
• 开发一种鲁棒的部件检测系统，无需人工标记即可识别小鼠身体部位（头部、尾巴、躯干）。
• 设计一种联合跟踪框架，整合部件分配与几何约束，以提升身份一致性。
• 建立一个公开可用的高质量数据集，用于评估多只小鼠的部件检测与跟踪性能。
• 证明该方法可推广至其他动物，如斑马和蝗虫。

提出的方法

• 一个多阶段部件提议网络通过并行的部件检测与躯干检测分支，生成高质量的部件与躯干提议。
• 提出一种新颖的贝叶斯推理整数线性规划模型，在施加几何约束和运动一致性的同时，联合分配部件候选至个体。
• 该模型结合了基于空间邻近度、外观相似性和时间一致性的成对部件关联。
• 在训练过程中应用困难负样本挖掘，以提升复杂场景下的检测鲁棒性。
• 系统使用学习到的几何模型指导部件到目标的分配，减少身份切换。
• 采用新引入的 Multi-Mice PartsTrack 数据集进行评估，该数据集包含复杂的社会行为和高遮挡情况。

实验结果

研究问题

• RQ1 基于深度学习的部件提议网络是否能在复杂遮挡场景中实现对小鼠部件（头部、尾巴、躯干）的准确且鲁棒的检测？
• RQ2 结合几何约束与成对部件关联的联合优化框架是否能提升多只小鼠跟踪中的身份一致性？
• RQ3 在遮挡条件下，该方法与最先进无标记跟踪方法相比，在准确性和鲁棒性方面表现如何？
• RQ4 该跟踪系统是否能推广至具有相似视觉与运动特性的其他物种？
• RQ5 几何约束与部件关联建模对跟踪性能及身份切换减少的影响如何？

主要发现

• 所提方法在 Multi-Mice PartsTrack 数据集上的所有基线方法中取得了最高的 MOTA 分数，证明了其卓越的跟踪准确性。
• 该方法记录了最少的 ID 切换次数和最高的 IDF1 分数，表明在序列中具有强大的身份一致性。
• 几何约束模型对跟踪速度的影响最大，凸显其计算成本与性能重要性。
• 消融实验验证了多阶段训练设计在提升检测与跟踪鲁棒性方面的有效性。
• 该方法在其他物种上表现出良好的泛化能力，在蝗虫和斑马数据集上实现了 100% 的头部、尾巴和躯干检测准确率。
• 定性结果表明，该方法能正确处理遮挡，并避免传统方法（如 MDP 和 JPDAm）常见的身份混淆问题。