[论文解读] Compressed Dynamic Mode Decomposition for Real-Time Object Detection

N. Benjamin Erichson, Steven L. Brunton+1 more|arXiv (Cornell University)|Dec 14, 2015

Image and Signal Denoising Methods参考文献 70被引用 16

一句话总结

本文提出压缩动态模式分解（cDMD），一种结合动态模式分解与压缩技术的实时前景/背景视频分离方法，可在CPU上高效处理全高清视频。通过利用DMD将视频分解为低秩（背景）与稀疏（前景）分量，并基于时间傅里叶频率实现，cDMD在CPU上实现实时运行，在GPU上达到亚实时性能，同时保持高分解质量，F-measure、精确率与召回率表现优异。

ABSTRACT

We introduce the method of compressive dynamic mode decomposition (cDMD) for robustly performing real-time foreground/background separation in high-definition video. The DMD method provides a regression technique for least-square fitting of video snapshots to a linear dynamical system. The method integrates two of the leading data analysis methods in use today: Fourier transforms and Principal Components. DMD modes with temporal Fourier frequencies near the origin (zero-modes) are interpreted as background (low-rank) portions of the given video frames, and the terms with Fourier frequencies bounded away from the origin are their foreground (sparse) counterparts. When combined with compression techniques, the resulting cDMD can process full HD video feeds in real-time on CPU computing platforms while still maintaining competitive video decomposition quality, quantified by F-measure, Recall and Precision. On a GPU architecture, the method is significantly faster than real-time, allowing for further video processing to improve the separation quality and/or enacting further computer vision processes such as object recognition.

研究动机与目标

• 通过计算高效的算法实现实时高分辨率视频的前景/背景分离。
• 解决动态模式分解（DMD）在处理全高清视频流时的计算瓶颈问题。
• 将压缩技术与DMD结合，降低计算负载而不牺牲分解质量。
• 在标准CPU硬件上运行时，保持F-measure、精确率与召回率的竞争力表现。
• 通过支持实时视频处理流水线，为下游计算机视觉任务提供支持。

提出的方法

• 该方法对视频快照应用动态模式分解（DMD），通过最小二乘拟合将视频建模为线性动力系统。
• 将时间傅里叶频率接近零的DMD模态（零模态）解释为背景分量，代表视频中的低秩结构。
• 将频率远离零的模态视为前景分量，捕捉场景中稀疏且随时间变化的动态变化。
• 对DMD分解应用压缩技术，以减小数据规模与计算成本，实现在CPU平台上的实时处理。
• 在全高清视频上评估压缩DMD框架，性能通过标准指标（F-measure、精确率、召回率）进行衡量。
• 在GPU上，该方法性能超过实时要求，支持额外处理或与目标识别流水线集成。

实验结果

研究问题

• RQ1 能否通过有效压缩动态模式分解，实现在CPU平台上的全高清视频实时前景/背景分离？
• RQ2 将压缩技术与DMD结合后，对视频分解质量（以F-measure、精确率与召回率衡量）有何影响？
• RQ3 与标准DMD相比，cDMD在降低计算负载的同时，其准确性保持程度如何？
• RQ4 cDMD框架是否能实现在CPU上的实时处理与在GPU上的亚实时处理，从而支持与下游视觉任务的集成？
• RQ5 具有零频率与非零频率时间傅里叶频率的DMD模态，在视频分解中如何对应于背景与前景分量？

主要发现

• cDMD通过结合DMD与压缩技术，实现在标准CPU平台上的全高清视频实时前景/背景分离。
• 该方法在计算资源受限条件下仍保持优异的视频分解质量，F-measure、精确率与召回率表现优异。
• 零频DMD模态能有效表示背景，作为视频帧的低秩分量。
• 非零频DMD模态可捕捉动态前景活动，作为稀疏且随时间变化的分量。
• 在GPU架构上，cDMD运行速度显著超过实时，支持额外处理或与目标识别系统集成。
• DMD与压缩技术的结合在大幅降低计算负载的同时，保持了模态的可解释性。