[论文解读] Image Segmentation in Video Sequences: A Probabilistic Approach

Nir Friedman, Stuart Russell|arXiv (Cornell University)|Feb 6, 2013

Image Retrieval and Classification Techniques参考文献 12被引用 830

一句话总结

本文提出了一种基于高斯混合模型的概率性视频图像分割方法，通过使用增量EM算法对不同类别（如前景、阴影、背景）下的像素外观进行建模，改进了传统背景减除法。该方法有效处理了慢速移动物体，并能将阴影与真实运动区分开来，显著提升了Roadwatch等交通监控系统中的车辆跟踪性能。

ABSTRACT

"Background subtraction" is an old technique for finding moving objects in a video sequence for example, cars driving on a freeway. The idea is that subtracting the current image from a timeaveraged background image will leave only nonstationary objects. It is, however, a crude approximation to the task of classifying each pixel of the current image; it fails with slow-moving objects and does not distinguish shadows from moving objects. The basic idea of this paper is that we can classify each pixel using a model of how that pixel looks when it is part of different classes. We learn a mixture-of-Gaussians classification model for each pixel using an unsupervised technique- an efficient, incremental version of EM. Unlike the standard image-averaging approach, this automatically updates the mixture component for each class according to likelihood of membership; hence slow-moving objects are handled perfectly. Our approach also identifies and eliminates shadows much more effectively than other techniques such as thresholding. Application of this method as part of the Roadwatch traffic surveillance project is expected to result in significant improvements in vehicle identification and tracking.

研究动机与目标

• 解决标准背景减除法在视频分割中的局限性，特别是其对慢速移动物体的失效问题，以及无法区分阴影与运动物体的问题。
• 开发一种像素级分类模型，学习视频序列中不同物体类别（如前景、阴影、背景）的外观分布。
• 通过无监督、高效的基于EM的算法实现实时、增量式背景模型学习，以适应场景条件的变化。
• 通过精确分割运动物体并抑制阴影引起的误报，提升交通监控中车辆检测与跟踪的准确性。
• 为现实世界系统（如Roadwatch交通监控项目）提供一种鲁棒且可扩展的视频分割解决方案。

提出的方法

• 每个像素使用高斯混合模型（MoG）进行建模，其中各分量代表不同类别，如背景、前景或阴影。
• 采用增量式、无监督的期望最大化（EM）算法，实现实时学习与更新MoG参数。
• 根据像素强度值在各高斯分量下的似然概率，将每个像素分配给最可能的类别。
• 算法根据观测到的像素强度动态更新分量权重与参数，从而适应慢速移动物体。
• 通过将阴影建模为低强度、非运动分量，并与运动前景物体在统计上区分开来，集成阴影检测机制。
• 避免依赖阈值的阴影去除方法，转而依赖概率分类，从而减少误报。

实验结果

研究问题

• RQ1 如何在视频序列中超越简单背景减除法，通过像素级分类有效处理慢速移动物体？
• RQ2 概率模型能否在视频数据中有效区分阴影与实际运动物体？
• RQ3 基于增量EM的学习方法在动态视频环境中在多大程度上提升了鲁棒性与适应性？
• RQ4 与标准图像平均技术相比，高斯混合模型在分割准确率与误报减少方面表现如何？
• RQ5 该方法能否在现实世界交通监控系统中有效部署，以提升车辆跟踪性能？

主要发现

• 所提方法即使在物体缓慢移动时也能成功分割运动物体，克服了标准背景减除法的关键局限。
• 阴影被有效识别并从前景检测中排除，相比基于阈值的方法显著减少了误报。
• 增量EM算法实现了无需重新处理全部视频数据的实时、自适应背景模型学习。
• 由于分割性能的提升，该模型在Roadwatch交通监控系统中实现了更高的车辆检测与跟踪准确率。
• 概率框架能够在光照与运动条件变化的情况下实现像素的鲁棒分类。
• 在复杂视频序列中，该方法相比传统背景减除法在分割性能上表现出显著提升。