[論文レビュー] Dynamic Mode Decomposition for Real-Time Background/Foreground Separation in Video

Jacob Grosek, J. Nathan Kutz|arXiv (Cornell University)|Apr 30, 2014

Image and Signal Denoising Methods被引用数 47

ひとこと要約

本論文は、動的モード分解（DMD）を用いたリアルタイムな背景/前景の動画分離手法を提案する。DMDは、近いゼロ周波数モードを背景とし、より高い周波数モードを運動と特定することで、動画フレームを低ランク（背景）およびスパース（前景）成分に分解する。本手法は、RPCAと比較して100倍以上高速であり、パrameterチューニングを必要とせず、ノートブッククラスのハードウェアでもリアルタイム処理を実現する。

ABSTRACT

This paper introduces the method of dynamic mode decomposition (DMD) for robustly separating video frames into background (low-rank) and foreground (sparse) components in real-time. The method is a novel application of a technique used for characterizing nonlinear dynamical systems in an equation-free manner by decomposing the state of the system into low-rank terms whose Fourier components in time are known. DMD terms with Fourier frequencies near the origin (zero-modes) are interpreted as background (low-rank) portions of the given video frames, and the terms with Fourier frequencies bounded away from the origin are their sparse counterparts. An approximate low-rank/sparse separation is achieved at the computational cost of just one singular value decomposition and one linear equation solve, thus producing results orders of magnitude faster than a leading separation method, namely robust principal component analysis (RPCA). The DMD method that is developed here is demonstrated to work robustly in real-time with personal laptop-class computing power and without any parameter tuning, which is a transformative improvement in performance that is ideal for video surveillance and recognition applications.

研究の動機と目的

• 動画監視および認識システムにおけるリアルタイムで頑健な背景/前景分離のニーズに対応すること。
• ロバスト主成分分析（RPCA）のような先進的手法が遅い凸最適化に依存する計算上のボトル neck を克服すること。
• 時間的フーリエ分解を用いて低ランク/スパース成分に分離するDMDを活用し、RPCAの高速でスケーラブルな代替手法を開発すること。
• 手動のパrameterチューニングなしで、コンsumerクラスのハードウェアでもリアルタイム動画処理を可能にすること。
• DMDがRPCAと同等の分離品質を達成しながら、計算コストを著しく削減できることを実証すること。

提案手法

• 時間的系列としての空間的スナップショット（フレーム）にDMDを適用し、時間的フーリエモードを抽出する。
• 固有周波数がほぼゼロ（ゼロモード）であるDMDモードを、低ランク背景成分として特定する。
• 非ゼロで有界な周波数を持つDMDモードを、スパース前景成分として扱う。
• 反復的凸最適化を回避するため、1回の特異値分解（SVD）と1回の線形方程式の解法で分離を実行する。
• スパース成分に繰り返しDMDを適用することで、分離を精緻化し、経験的に収束を改善する。
• DMDフレームワークを、核ノルムとL1ノルムの最小化を必要としない、高速で式のないRPCAの代替手段として活用する。

実験結果

リサーチクエスチョン

• RQ1 DMDは、RPCAと同等の性能を発揮するリアルタイムな背景/前景分離に、効果的に再利用可能か？
• RQ2 標準的なハードウェア上でのDMDとRPCAの計算コスト（速度とスケーラビリティ）を比較すると、どのように異なるか？
• RQ3 反復的最適化やパrameterチューニングなしで、DMDは分離品質をどの程度維持できるか？
• RQ4 DMDの反復的適用は、分離精度を向上させ、真の低ランク/スパース分解に収束させるか？
• RQ5 動画の行列分解という文脈において、DMDとRPCAの理論的および実用的関係は何か？

主な発見

• DMDを用いた手法は、ノートブッククラスのハードウェアでもリアルタイムで動画分離を実現し、通常のカメラのフレームレートをはるかに上回る速度で処理する。
• 本手法は、RPCAと比較して100倍以上高速であり、1フレームあたり1回のSVDと1回の線形方程式の解法で十分であり、RPCAの高コストな凸最適化を回避する。
• DMDは、現実的な動画シナリオにおいて、RPCAと同等の視覚的分離品質を達成し、最小限のパrameterチューニングで実現する。
• DMDの反復的適用により、繰り返しの度に分離誤差が減少し、より良い低ランクおよびスパース成分への収束が経験的に示された。
• 十分な時間的スナップショットが得られる限り、加速度を伴う運動や高速移動の物体に対しても、良好な性能を発揮する。
• 物体がフレームに対して大きい場合、または運動を捉えるためのフレーム数が少ない場合、再構成誤差が増加する傾向にあり、物体のサイズと時間的サンプリングに感度を示す。