[论文解读] BioTracker: An Open-Source Computer Vision Framework for Visual Animal Tracking

Hauke J. Mönck, A. Jörg+8 more|arXiv (Cornell University)|Mar 21, 2018

Advanced Vision and Imaging参考文献 10被引用 33

一句话总结

BioTracker 是一个开源计算机视觉框架，通过提供可重用的核心组件（如视频输入/输出、GUI 工具和数据导出），加速视觉动物追踪，同时允许研究人员通过模块化插件插入自定义追踪算法。它通过将通用功能与特定问题的视觉逻辑解耦，减少了重复编码，使研究人员能够快速原型设计和部署，适用于包括鱼群、蜜蜂和仿生机器人在内的多种动物追踪挑战。

ABSTRACT

The study of animal behavior increasingly relies on (semi-) automatic methods for the extraction of relevant behavioral features from video or picture data. To date, several specialized software products exist to detect and track animals' positions in simple (laboratory) environments. Tracking animals in their natural environments, however, often requires substantial customization of the image processing algorithms to the problem-specific image characteristics. Here we introduce BioTracker, an open-source computer vision framework, that provides programmers with core functionalities that are essential parts of a tracking software, such as video I/O, graphics overlays and mouse and keyboard interfaces. BioTracker additionally provides a number of different tracking algorithms suitable for a variety of image recording conditions. The main feature of BioTracker is however the straightforward implementation of new problem-specific tracking modules and vision algorithms that can build upon BioTracker's core functionalities. With this open-source framework the scientific community can accelerate their research and focus on the development of new vision algorithms.

研究动机与目标

• 解决在复杂或自然环境中追踪动物时，现有软件失效所导致的缺乏灵活、可扩展框架的问题。
• 通过将常见任务（如视频 I/O、GUI 交互和数据导出）抽象为共享核心框架，减少开发开销。
• 使研究人员能够专注于设计新颖的图像处理算法，而非重复实现底层基础设施。
• 支持自定义追踪模块的动态加载，实现在单一界面中无缝测试和比较多种算法。
• 通过提供标准化、可扩展的平台，促进可重复性和协作，推动动物追踪研究的发展。

提出的方法

• 采用模型-视图-控制器（MVC）架构设计模块化框架，分离数据、逻辑和用户界面组件。
• 实现一个核心组件，以通用格式处理视频输入/输出、播放控制、缩放、轨迹点编辑和结果导出。
• 定义追踪模块的插件接口，允许开发人员通过标准化方法调用将自定义算法与核心框架集成。
• 利用外部库：OpenCV 实现计算机视觉操作，Qt 实现 GUI 组件，确保跨平台兼容性（Windows、Linux、Mac）。
• 提供实用组件，简化常见追踪挑战（如背景减除和特征检测）的处理，减少模块中的样板代码。
• 通过可重用、即插即用的实现，支持高级算法（如 Lucas-Kanade 光流和自适应背景建模，例如 KaewTrakulPong & Bowden）的集成。

实验结果

研究问题

• RQ1 模块化、开源框架是否能减少在非标准环境中实现新型动物追踪解决方案所需的研发时间和精力？
• RQ2 共享核心框架在多大程度上能够支持多样化的追踪问题，包括自然环境中的鱼类、蜜蜂舞蹈和仿生机器人？
• RQ3 将核心功能与追踪逻辑解耦，如何提升追踪软件的可扩展性和可维护性？
• RQ4 研究人员是否能在一个统一、一致的用户界面中高效比较和测试多种追踪算法，而无需切换工具？
• RQ5 该框架是否能加速生态学与行为学研究中新型视觉算法的原型设计和部署？

主要发现

• BioTracker 在 RoboFish 项目中成功实现了实验水箱中鱼类的实时追踪，支持闭环交互场景。
• 该框架减少了在多个项目中重复实现常见任务（如视频 I/O 和 GUI 控制）的工作量，简化了多样化追踪问题的开发流程。
• 自定义追踪模块（包括背景减除和基于光流的追踪器）已成功集成并测试于同一界面，支持直接比较。
• 模块化设计使研究人员能够跨不同动物模型重用核心组件，包括孔雀鱼、孔雀鳉、斑马鱼、大黄蜂和蜜蜂。
• 框架对动态插件加载和标准化接口的支持，实现了用户界面的一致性，降低了在不同追踪应用间切换时的学习曲线。
• 该框架已被多个已发表研究采用，包括关于墨西哥条尾鱼社会行为和大黄蜂导航的研究，验证了其在实际科研中的实用价值。