[论文解读] Dynamic Mode Decomposition for Real-Time Background/Foreground Separation in Video

Jacob Grosek, J. Nathan Kutz|arXiv (Cornell University)|Apr 30, 2014

Image and Signal Denoising Methods被引用 47

一句话总结

本文提出了一种基于动态模式分解（DMD）的实时背景/前景视频分离方法，通过识别近零频模式作为背景、高频模式作为运动，将视频帧分解为低秩（背景）和稀疏（前景）分量。该方法相比RPCA实现数量级更快的性能，可在笔记本电脑级硬件上实现实时处理，且无需参数调优。

ABSTRACT

This paper introduces the method of dynamic mode decomposition (DMD) for robustly separating video frames into background (low-rank) and foreground (sparse) components in real-time. The method is a novel application of a technique used for characterizing nonlinear dynamical systems in an equation-free manner by decomposing the state of the system into low-rank terms whose Fourier components in time are known. DMD terms with Fourier frequencies near the origin (zero-modes) are interpreted as background (low-rank) portions of the given video frames, and the terms with Fourier frequencies bounded away from the origin are their sparse counterparts. An approximate low-rank/sparse separation is achieved at the computational cost of just one singular value decomposition and one linear equation solve, thus producing results orders of magnitude faster than a leading separation method, namely robust principal component analysis (RPCA). The DMD method that is developed here is demonstrated to work robustly in real-time with personal laptop-class computing power and without any parameter tuning, which is a transformative improvement in performance that is ideal for video surveillance and recognition applications.

研究动机与目标

• 解决视频监控和识别系统中对实时、鲁棒的背景/前景分离的需求。
• 克服如鲁棒主成分分析（RPCA）等领先方法因依赖缓慢的凸优化而产生的计算瓶颈。
• 利用DMD开发一种快速、可扩展的RPCA替代方案，通过时间傅里叶分解实现低秩/稀疏分离。
• 实现在消费级硬件上无需手动参数调优的实时视频处理。
• 证明DMD可在显著降低计算成本的同时，实现与RPCA相当的分离质量。

提出的方法

• 将动态模式分解（DMD）应用于视频帧作为时空快照的时间序列，以提取时间傅里叶模式。
• 将DMD模式中特征频率接近零（零模）的模式识别为低秩背景分量。
• 将具有非零、有界频率的DMD模式视为稀疏前景分量。
• 通过一次奇异值分解（SVD）和一次线性求解完成分离，避免迭代凸优化。
• 对稀疏分量迭代重新应用DMD，以改进分离效果并实现经验上的收敛。
• 将DMD框架用作RPCA的快速、无需方程的替代方案，绕过核范数和L1范数最小化的需求。

实验结果

研究问题

• RQ1 DMD能否被有效重用于实时背景/前景视频分离，并实现与RPCA相当的性能？
• RQ2 在标准硬件上，DMD与RPCA在速度和可扩展性方面的计算成本如何比较？
• RQ3 DMD在无需参数调优或迭代优化的情况下，能在多大程度上保持分离质量？
• RQ4 DMD的迭代应用能否提高分离精度并收敛至真实的低秩/稀疏分解？
• RQ5 在视频矩阵分解的背景下，DMD与RPCA之间在理论和实践上存在何种关系？

主要发现

• 基于DMD的方法可在笔记本电脑级硬件上实现实时视频分离，处理速度远超典型摄像机的帧率。
• 该方法相比RPCA快达数量级，每帧仅需一次SVD和一次线性求解，而RPCA则依赖昂贵的凸优化。
• 在真实视频场景中，DMD产生的分离质量与RPCA视觉上相当，且参数调优极少。
• DMD的迭代应用可随迭代次数减少分离误差，表明其经验上趋向于更优的低秩和稀疏分量。
• 当有足够的时序快照时，该方法在运动物体（包括具有加速度或高速运动的物体）上表现良好。
• 当物体相对于帧过大或用于捕捉运动的帧数较少时，重建误差会增加，表明对物体大小和时序采样敏感。