[论文解读] An Efficient Approach for Object Detection and Tracking of Objects in a Video with Variable Background

Kumar S. Ray, Soma Chakraborty|arXiv (Cornell University)|May 11, 2017

Video Surveillance and Tracking Methods参考文献 2被引用 8

一句话总结

该论文提出了一种新颖的、无需初始化的方法，通过相位相关性和傅里叶位移定理，利用频域分析估计并补偿由相机运动引起的伪运动，从而在具有可变背景的视频中检测和跟踪运动物体。通过基于帧历史的动态背景建模及两步形态学操作，该方法在无需训练或人工初始化的情况下，实现了高精度的前景检测与基于卡尔曼滤波的跟踪，在基准数据集上表现出色。

ABSTRACT

This paper proposes a novel approach to create an automated visual surveillance system which is very efficient in detecting and tracking moving objects in a video captured by moving camera without any apriori information about the captured scene. Separating foreground from the background is challenging job in videos captured by moving camera as both foreground and background information change in every consecutive frames of the image sequence; thus a pseudo-motion is perceptive in background. In the proposed algorithm, the pseudo-motion in background is estimated and compensated using phase correlation of consecutive frames based on the principle of Fourier shift theorem. Then a method is proposed to model an acting background from recent history of commonality of the current frame and the foreground is detected by the differences between the background model and the current frame. Further exploiting the recent history of dissimilarities of the current frame, actual moving objects are detected in the foreground. Next, a two-stepped morphological operation is proposed to refine the object region for an optimum object size. Each object is attributed by its centroid, dimension and three highest peaks of its gray value histogram. Finally, each object is tracked using Kalman filter based on its attributes. The major advantage of this algorithm over most of the existing object detection and tracking algorithms is that, it does not require initialization of object position in the first frame or training on sample data to perform. Performance of the algorithm is tested on benchmark videos containing variable background and very satisfiable results is achieved. The performance of the algorithm is also comparable with some of the state-of-the-art algorithms for object detection and tracking.

研究动机与目标

• 解决在移动相机拍摄的可变背景视频中检测和跟踪运动物体的挑战。
• 克服传统背景减除方法因相机运动引起的伪运动而失效的局限性。
• 开发一种无需场景先验知识、物体形状信息或训练数据即可初始化的方法。
• 在真实监控场景中，确保对遮挡、光照变化和背景杂波具有鲁棒性。
• 通过频域分析与形态学优化，实现高精度与高效率的物体检测与跟踪。

提出的方法

• 利用频域中的相位相关性，基于傅里叶位移定理，估计并补偿连续视频帧之间的伪运动。
• 通过分析当前帧与近期前序帧之间的共性，构建动态背景模型，以减少闪烁和噪声。
• 通过计算当前帧与背景模型之间的差异性来检测前景，聚焦于近期历史，以隔离实际运动物体。
• 应用两步形态学操作对物体区域进行优化，以适应物体尺寸并减少碎片化。
• 使用质心、尺寸以及灰度值直方图中三个最高峰值来表示每个检测到的物体，实现鲁棒的特征描述。
• 利用基于物体特征（质心、尺寸、灰度分布）的卡尔曼滤波器进行跟踪，以保持轨迹连续性并处理遮挡。

实验结果

研究问题

• RQ1 如何在移动相机拍摄的视频中，高效估计并补偿背景中的伪运动？
• RQ2 能否在无需场景先验知识或训练数据的情况下构建动态背景模型？
• RQ3 如何利用帧历史可靠地区分实际运动物体与闪烁背景或噪声？
• RQ4 哪些形态学操作能最优地优化物体区域以实现精确跟踪？
• RQ5 结合最小化特征表示的卡尔曼滤波能否有效跟踪多个物体，并在可变背景中处理遮挡？

主要发现

• 所提算法在可变背景基准视频上的性能与SOTA方法（如HOG上的KCF和MCT）相当或更优。
• 该方法在处理遮挡、旋转（平面内与平面外）、形变及背景杂波方面表现出强鲁棒性。
• 除遮挡场景外，该算法在所有情况下均优于BDF，表明其对复杂视觉挑战具有强大抗性。
• 利用相位相关性进行运动补偿，相比光流或特征点跟踪，显著降低了计算复杂度。
• 两步形态学操作有效优化了物体区域，实现了对紧密排列物体的精确跟踪。
• 结合物体特征（质心、尺寸、灰度直方图峰值）的卡尔曼滤波器，成功解决了数据关联问题并保持了轨迹连续性。