[论文解读] ABCTracker: an easy-to-use, cloud-based application for tracking multiple objects

Lance Rice, Samual Tate+7 more|arXiv (Cornell University)|Jan 27, 2020

Species Distribution and Climate Change被引用 4

一句话总结

ABCTracker 是一个基于云的、用户友好的多目标追踪系统，通过三阶段工作流程（标记、自动追踪、修正）使研究人员能够追踪视频中的动物。该系统技术门槛低，采用三键点击标记方法自动调参，支持在各种环境中对有标记和无标记动物进行高精度、可扩展的追踪，借助服务器端处理和自动视频分块实现。

ABSTRACT

Visual multi-object tracking has the potential to accelerate many forms of quantitative analyses, especially in research communities investigating the motion, behavior, or social interactions within groups of animals. Despite its potential for increasing analysis throughput, complications related to accessibility, adaptability, accuracy, or scalable application arise with existing tracking systems. Several iterations of prototyping and testing have led us to a multi-object tracking system -- ABCTracker -- that is: accessible in both system as well as technical knowledge requirements, easily adaptable to new videos, and capable of producing accurate tracking data through a mixture of automatic and semi-automatic tracking features.

研究动机与目标

• 解决现有多目标追踪系统在行为生物学领域面临的可访问性、适应性和可扩展性挑战。
• 通过消除对 GPU、复杂安装或图像处理专业知识的需求，降低研究人员的技术门槛。
• 实现在静态摄像头视频中对多个动物进行准确、可重复的追踪，包括有标记和无标记个体。
• 通过自动分块和并行服务器端计算，实现长视频序列的高效处理。
• 提供直观的修正工具——包括手动和引导式两种模式——以最小的用户投入提升追踪精度。

提出的方法

• 采用客户端/服务器架构，用户通过在少数帧上进行三键点击（头部、中部、尾部/脚部）完成对象标记，系统自动调优所有追踪参数。
• 使用模块化追踪流程，支持子程序替换，便于未来集成新算法并适应多样的追踪挑战。
• 通过自动将长视频分割为多个片段，并在远程服务器上并行处理，提升可扩展性并减少每段的处理时间。
• 应用默认通用型多目标追踪算法，专为静态摄像头录制视频优化，不假设目标被限制在特定区域或环境复杂度。
• 提供两种修正模式：一种是用户可完全控制轨迹编辑和可视化工具的手动模式；另一种是识别常见错误并引导用户完成修正操作的引导模式。
• 利用上下文感知的帮助对话框和极低的系统资源需求（仅需 Java），确保在各种计算环境中广泛可用。

实验结果

研究问题

• RQ1 基于云且技术门槛极低的追踪系统是否能在多样化的生物视频记录中实现高精度和可扩展性？
• RQ2 三键点击标记流程在不同动物类型和视频条件下自动调优追踪参数的效率如何？
• RQ3 与传统手动方法相比，引导式修正模式在多大程度上减少了用户工作量并提升了追踪精度？
• RQ4 自动视频分块与并行处理如何提升系统处理长视频序列的能力？
• RQ5 该系统是否能在无需预先调参的情况下，有效适用于复杂或杂乱背景中的有标记和无标记动物？

主要发现

• ABCTracker 已成功处理超过 350 段视频，涵盖蚂蚁、白蚁和斑马鱼等动物，包括简单和复杂栖息环境。
• 三键点击标记流程可实现无须用户直接输入图像处理或追踪参数的自动参数调优。
• 引导式修正模式能有效识别常见追踪错误，并引导用户完成修正，相比传统手动方法显著提升了修正效率。
• 自动视频分块使系统能够处理超出其原生处理能力的长序列视频，远程服务器上的并行处理实现了可扩展的吞吐量。
• 系统支持批量处理：在服务器上运行追踪的同时，用户可同时对其他视频进行标记、追踪或修正，最大化工作流效率。
• 尽管在处理复杂姿态（如蛇类）方面存在局限，但系统在多种动物类型和记录条件下表现出强大的泛化能力。