[论文解读] Multi-camera Realtime 3D Tracking of Multiple Flying Animals

Andrew Straw, Kristin Branson+2 more|arXiv (Cornell University)|Jan 25, 2010

Neurobiology and Insect Physiology Research参考文献 33被引用 11

一句话总结

本文提出 flydra，一种低延迟、多相机系统，利用扩展卡尔曼滤波器（Extended Kalman Filter）与最近邻数据关联技术，实现实时对多个飞行动物的三维跟踪。系统延迟低于 40 ms，支持动态感官反馈实验，并在标准硬件上实现了 11 台相机、每秒 60 帧的速度下对三只果蝇的鲁棒跟踪。

ABSTRACT

Automated tracking of animal movement allows analyses that would not otherwise be possible by providing great quantities of data. The additional capability of tracking in realtime - with minimal latency - opens up the experimental possibility of manipulating sensory feedback, thus allowing detailed explorations of the neural basis for control of behavior. Here we describe a new system capable of tracking the position and body orientation of animals such as flies and birds. The system operates with less than 40 msec latency and can track multiple animals simultaneously. To achieve these results, a multi target tracking algorithm was developed based on the Extended Kalman Filter and the Nearest Neighbor Standard Filter data association algorithm. In one implementation, an eleven camera system is capable of tracking three flies simultaneously at 60 frames per second using a gigabit network of nine standard Intel Pentium 4 and Core 2 Duo computers. This manuscript presents the rationale and details of the algorithms employed and shows three implementations of the system. An experiment was performed using the tracking system to measure the effect of visual contrast on the flight speed of Drosophila melanogaster. At low contrasts, speed is more variable and faster on average than at high contrasts. Thus, the system is already a useful tool to study the neurobiology and behavior of freely flying animals. If combined with other techniques, such as `virtual reality'-type computer graphics or genetic manipulation, the tracking system would offer a powerful new way to investigate the biology of flying animals.

研究动机与目标

• 开发一种低延迟、可扩展的系统，用于自动跟踪多个自由飞行的动物（如果蝇和鸟类）的三维运动。
• 通过将系统延迟控制在 40 ms 以下，实现对实时行为实验的支持。
• 将无标记、多目标跟踪与动态刺激控制相结合，用于神经生物学研究。
• 利用大量低成本相机实现大体积范围内的高分辨率跟踪。
• 通过高精度、高吞吐量的轨迹数据收集，支持机器学习与行为建模研究。

提出的方法

• 系统采用贝叶斯框架，基于最大后验概率（MAP）估计方法，递归更新目标状态估计。
• 扩展卡尔曼滤波器（EKF）通过线性化运动模型与观测模型，近似后验分布。
• 观测模型包含非线性观测函数，并通过雅可比矩阵计算实现状态更新。
• 通过最近邻标准滤波器（Nearest Neighbor Standard Filter）完成数据关联，将二维图像观测与已跟踪目标匹配。
• 利用多相机视角的线性最小二乘三角测量法重建三维位置与姿态，并校正径向畸变。
• 状态更新模型支持目标进入与离开跟踪区域，实现鲁棒的多目标跟踪。

实验结果

研究问题

• RQ1 如何实现对多个飞行动物的实时三维跟踪，且延迟极低，以支持神经生物学实验？
• RQ2 视觉对比度对黑腹果蝇（Drosophila melanogaster）飞行速度与变异性的影 响是什么？
• RQ3 可扩展的低成本多相机系统能否在无标记条件下实现对飞行动物的精确三维跟踪？
• RQ4 多相机三角测量如何提升大跟踪体积中的空间分辨率并减少遮挡效应？
• RQ5 实时跟踪在多大程度上能够支持具有动态感官反馈的闭环实验？

主要发现

• 系统延迟低于 40 ms，支持在动物飞行过程中实时操控感官反馈。
• 11 台相机的配置在标准 Intel Pentium 4 与 Core 2 Duo 计算机上，成功实现了三只黑腹果蝇在每秒 60 帧下的同步跟踪。
• 在低视觉对比度条件下，黑腹果蝇的飞行速度显著加快且变异更大。
• 系统在大空间范围内对多目标的跟踪表现出鲁棒性能，遮挡效应极小。
• 将实时跟踪与虚拟现实或遗传工具相结合，为研究飞行行为的神经控制机制开辟了新途径。
• 该方法可通过多视角相机数据与径向畸变校正，实现位置与身体姿态的精确三维重建。