[论文解读] Decision-Theoretic Coordination and Control for Active Multi-Camera Surveillance in Uncertain, Partially Observable Environments

Prabhu Natarajan, Trong Nghia Hoang+2 more|arXiv (Cornell University)|Sep 19, 2012

Video Surveillance and Tracking Methods参考文献 9被引用 11

一句话总结

本文提出了一种基于POMDP的决策理论框架，用于在不确定、部分可观测的监控环境中，协调主动PTZ摄像头以追踪和观测多个移动目标。通过维护目标状态的贝叶斯信念，并优化摄像头动作以最大化高分辨率观测，该方法实现了与目标数量呈线性可扩展性的实时性能，在仿真和使用AXIS 214摄像头的真实世界实验中，均优于当前最先进的方法。

ABSTRACT

A central problem of surveillance is to monitor multiple targets moving in a large-scale, obstacle-ridden environment with occlusions. This paper presents a novel principled Partially Observable Markov Decision Process-based approach to coordinating and controlling a network of active cameras for tracking and observing multiple mobile targets at high resolution in such surveillance environments. Our proposed approach is capable of (a) maintaining a belief over the targets' states (i.e., locations, directions, and velocities) to track them, even when they may not be observed directly by the cameras at all times, (b) coordinating the cameras' actions to simultaneously improve the belief over the targets' states and maximize the expected number of targets observed with a guaranteed resolution, and (c) exploiting the inherent structure of our surveillance problem to improve its scalability (i.e., linear time) in the number of targets to be observed. Quantitative comparisons with state-of-the-art multi-camera coordination and control techniques show that our approach can achieve higher surveillance quality in real time. The practical feasibility of our approach is also demonstrated using real AXIS 214 PTZ cameras

研究动机与目标

• 消除在大规模、障碍物众多的监控环境中依赖广角静态摄像头进行目标追踪的需求。
• 通过在遮挡期间对目标状态（位置、方向、速度）维持概率信念，解决部分可观测性问题。
• 协调主动PTZ摄像头，同时提升信念准确性并最大化以保证的高分辨率观测的目标数量。
• 通过利用运动和观测模型中条件独立性的结构特性，实现在目标数量上的线性时间可扩展性。
• 通过在真实世界环境中使用真实的AXIS 214 PTZ摄像头，证明该方法的实际可行性。

提出的方法

• 将监控问题形式化为部分可观测马尔可夫决策过程（POMDP），建模目标运动和摄像头观测中的不确定性。
• 使用贝叶斯信念更新来随时间维护并改进对目标状态（位置、方向、速度）的概率估计。
• 采用基于决策理论的策略，选择摄像头动作（平移、俯仰、变焦）以最大化预期的高分辨率观测数量。
• 利用运动和观测模型中目标之间的条件独立性，将策略计算时间从指数级降低至与目标数量呈线性关系。
• 通过校准具有有限视场深度的主动摄像头，确保观测准确且误差低，从而提升信念准确性。
• 将基于视觉的目标检测与追踪集成到POMDP框架中，利用高分辨率观测减少不确定性。

实验结果

研究问题

• RQ1 如何协调一个主动PTZ摄像头网络，以在部分可观测、存在遮挡的环境中持续保持对多个移动目标的高分辨率观测？
• RQ2 基于POMDP的方法是否能有效在遮挡导致观测间歇性中断的情况下，维持目标位置、方向和速度的准确信念状态？
• RQ3 如何降低基于POMDP的协调方法的计算复杂度，以实现在大规模监控场景中的实时性能？
• RQ4 与依赖静态广角摄像头或噪声较大的低分辨率追踪方法相比，基于信念的方法能带来多大的性能提升？
• RQ5 在使用真实物理PTZ摄像头的部署中，基于POMDP的控制器在多大程度上优于基线策略？

主要发现

• 在使用AXIS 214 PTZ摄像头的真实世界实验中，所提出的基于POMDP的控制器对单个目标实现了98.2%的观测率，对五个目标实现了87%的观测率。
• 该方法在处理遮挡和噪声较大的低分辨率追踪方面，优于当前最先进的方法（MP、MSP、Sys、Stat），表现更优。
• 贝叶斯信念更新过程即使在非观测期间也能准确追踪目标的方向和速度，而基于MDP的方法在部分可观测条件下会失效。
• 通过利用运动和观测模型中的条件独立性，该方法实现了与目标数量呈线性时间复杂度的可扩展性。
• 该系统在真实世界部署中表现出鲁棒性和实用性，性能通过真实摄像头实验和公开演示视频得到验证。