[论文解读] Coordinate-Aligned Multi-Camera Collaboration for Active Multi-Object Tracking

Zeyu Fang, Jian Zhao+4 more|arXiv (Cornell University)|Feb 22, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种基于多智能体强化学习的坐标对齐多摄像头协作系统，用于主动多目标跟踪（AMOT）。通过从摄像头观测中反投影对齐3D目标坐标，并采用具有复合奖励函数的集中式Q网络，该系统实现了71.88%的目标覆盖度——比基线固定摄像头方法高出8.9%，展示了在部分观测条件下有效的全局协调能力。

ABSTRACT

Active Multi-Object Tracking (AMOT) is a task where cameras are controlled by a centralized system to adjust their poses automatically and collaboratively so as to maximize the coverage of targets in their shared visual field. In AMOT, each camera only receives partial information from its observation, which may mislead cameras to take locally optimal action. Besides, the global goal, i.e., maximum coverage of objects, is hard to be directly optimized. To address the above issues, we propose a coordinate-aligned multi-camera collaboration system for AMOT. In our approach, we regard each camera as an agent and address AMOT with a multi-agent reinforcement learning solution. To represent the observation of each agent, we first identify the targets in the camera view with an image detector, and then align the coordinates of the targets in 3D environment. We define the reward of each agent based on both global coverage as well as four individual reward terms. The action policy of the agents is derived with a value-based Q-network. To the best of our knowledge, we are the first to study the AMOT task. To train and evaluate the efficacy of our system, we build a virtual yet credible 3D environment, named "Soccer Court", to mimic the real-world AMOT scenario. The experimental results show that our system achieves a coverage of 71.88%, outperforming the baseline method by 8.9%.

研究动机与目标

• 解决在局部、部分观测条件下，协调多个摄像头对多个移动目标进行主动跟踪的挑战。
• 通过实现协调的集中式策略学习，弥合局部摄像头决策与全局跟踪目标之间的差距。
• 设计一种奖励函数，平衡全局覆盖度与个体摄像头性能指标（如可见性、方向、边界框质量）之间的关系。
• 开发一个3D虚拟环境，以真实模拟现实世界中的多目标跟踪场景，用于训练与评估。
• 验证通过反投影变换将摄像头观测对齐至共享3D坐标空间的有效性。

提出的方法

• 每个摄像头在集中式多智能体强化学习框架中被建模为一个智能体，使用共享深度Q网络来估计Q值。
• 通过目标检测（Yolov4-tiny）识别每个摄像头视图中的目标，并利用反投影将2D边界框转换为3D世界坐标，实现全局对齐。
• 复合奖励函数结合了全局覆盖项与四个个体奖励分量：可见性、方向、边界框大小和位置对齐。
• 状态表示整合了所有摄像头中检测到目标的对齐3D坐标，为策略学习提供统一的全局状态。
• 在Unreal Engine中构建了一个名为“Soccer Court”的自定义3D环境，用于模拟包含遮挡与动态目标的真实多目标跟踪场景。
• 系统通过带经验回放和目标网络的深度Q学习进行训练，以优化长期覆盖度最大化。

实验结果

研究问题

• RQ1 如何在局部、部分观测条件下协调多个摄像头，以主动跟踪多个移动目标？
• RQ2 何种奖励设计能够有效促进摄像头之间的协作，同时平衡全局覆盖度与个体摄像头性能？
• RQ3 与原始边界框输入相比，通过反投影实现的坐标对齐在多摄像头跟踪性能上带来了哪些提升？
• RQ4 所提方法在目标覆盖度与跟踪鲁棒性方面，相较于固定摄像头基线方法的优越程度如何？
• RQ5 复合奖励函数中的各个组件对整体系统性能的贡献分别是什么？

主要发现

• 所提方法实现了71.88%的目标覆盖度，较固定摄像头基线方法高出8.9%。
• 消融实验表明，若移除任意一个个体奖励分量（可见性、方向、边界框、位置），性能均显著下降，证明了其必要性。
• 反投影变换减少了收敛时间并提升了最终性能，估计的3D坐标在10,000×5,000单位的世界空间中与真实值偏差仅为29.6单位（标准差：8.04）。
• 系统展现出主动跟踪能力：当目标接近视场边缘时，智能体能主动调整摄像头姿态，防止跟踪丢失。
• 使用YOLOv4-tiny进行检测的性能与使用真实边界框相当，验证了检测器在流水线中的有效性。
• 采用个体奖励的去中心化基线方法性能几乎与集中式方法相当，但采用完整状态集成的集中式方法在覆盖度与协调性方面表现更优。