[论文解读] sZoom: A Framework for Automatic Zoom into High Resolution Surveillance Videos

Mukesh Saini, Benjamin Guthier+3 more|arXiv (Cornell University)|Sep 23, 2019

Video Surveillance and Tracking Methods参考文献 41被引用 9

一句话总结

sZoom 是一种自动视频重定向框架，通过使用语义线索（运动、人体、人脸）动态缩放高分辨率监控视频中的敏感区域，结合多变量高斯惩罚函数以确保覆盖范围，并通过迭代优化的样条插值实现平滑缩放。与缩放后的视频相比，它使安全操作员的信息获取量提升了 99%，实用性评分提高了 46%，处理时间仅为基线的 5%，实现了接近实时的性能。

ABSTRACT

Current cameras are capable of recording high resolution video. While viewing on a mobile device, a user can manually zoom into this high resolution video to get more detailed view of objects and activities. However, manual zooming is not suitable for surveillance and monitoring. It is tiring to continuously keep zooming into various regions of the video. Also, while viewing one region, the operator may miss activities in other regions. In this paper, we propose sZoom, a framework to automatically zoom into a high resolution surveillance video. The proposed framework selectively zooms into the sensitive regions of the video to present details of the scene, while still preserving the overall context required for situation assessment. A multi-variate Gaussian penalty is introduced to ensure full coverage of the scene. The method achieves near real-time performance through a number of timing optimizations. An extensive user study shows that, while watching a full HD video on a mobile device, the system enhances the security operator's efficiency in understanding the details of the scene by 99% on the average compared to a scaled version of the original high resolution video. The produced video achieved 46% higher ratings for usefulness in a surveillance task.

研究动机与目标

• 为解决在小尺寸移动显示屏上监控高分辨率监控视频时手动缩放不切实际且易出错的挑战。
• 实现自动、上下文保留的缩放，确保场景覆盖的同时增强敏感区域的可见性。
• 通过实时动态优先处理并缩放语义上重要的区域，提升操作员效率和态势感知能力。
• 通过分辨率降低和时间优化实现性能优化，实现在移动端部署时显著降低计算开销且不影响显著准确性。

提出的方法

• 通过融合语义观测（运动、人体、人脸）在 4 帧窗口内聚合，以减少噪声，实现敏感度检测。
• 应用衰减的多变量高斯惩罚图，以确保先前已缩放的区域被降权处理，从而随时间推移实现完整的场景覆盖。
• 将均值漂移法用于感兴趣区域（ROI）跟踪，并与迭代优化的三次样条函数结合，生成平滑自然的缩放过渡。
• 通过降低输入分辨率（前景处理为 60%，人体检测为 80%）减少计算负载，同时保持最小的准确性损失。
• 通过三次样条插值生成缩放轨迹，基于跟踪反馈迭代优化缩放和平移参数，实现在运动目标上的稳定缩放。
• 该框架专为在线处理设计，可在移动设备上实现低延迟的实时运行。

实验结果

研究问题

• RQ1 在移动设备上对高分辨率监控视频中的敏感区域进行自动缩放，是否能提升操作员在监控任务中的效率？
• RQ2 系统如何在无需人工干预的情况下，确保在选择性缩放重要区域的同时实现完整的场景覆盖？
• RQ3 在实时监控应用中，时间与分辨率优化能在多大程度上减少处理时间，同时保持检测准确性？
• RQ4 将 ROI 跟踪与平滑缩放插值相结合，对缩放后视频的自然感和可用性有何影响？
• RQ5 多变量高斯惩罚在动态监控环境中，对平衡敏感度检测与场景覆盖方面有何影响？

主要发现

• 与观看原始高分辨率视频的缩放版本相比，sZoom 框架平均使信息获取量提升了 99%。
• 与基线缩放视频相比，系统在监控任务中的实用性评分高出 46%，表明其感知效用更强。
• 通过分辨率降低和优化，处理时间减少至原始基线时间的 5%，实现了接近实时的性能。
• 与该工作初步版本相比，系统将跟踪准确性提升了 42%，主要得益于更优的敏感度检测和迭代样条优化。
• 使用 4 帧累积窗口在运动、人体和人脸检测器上实现了最佳检测准确性，在响应速度与噪声抑制之间达到良好平衡。
• 在使用低分辨率输入时，框架将 F1 分数下降控制在约 0.05 以内，表明在优化条件下准确性损失极小。