[論文レビュー] Compressed Dynamic Mode Decomposition for Real-Time Object Detection

N. Benjamin Erichson, Steven L. Brunton+1 more|arXiv (Cornell University)|Dec 14, 2015

Image and Signal Denoising Methods参考文献 70被引用数 16

ひとこと要約

本稿では、動的モード分解（DMD）と圧縮を組み合わせることで、CPU上でフルHD動画を効率的に処理できるリアルタイムな前景/背景分離手法である圧縮動的モード分解（cDMD）を提案する。DMDが時間的フーリエ周波数を用いて動画を低ランク（背景）およびスパース（前景）成分に分解できる能力を活用することで、cDMDはリアルタイムでCPU上で、またGPU上で準リアルタイムで動作しながら、競争力のあるFスコア、適合率、再現率を達成する高品質な分解を実現する。

ABSTRACT

We introduce the method of compressive dynamic mode decomposition (cDMD) for robustly performing real-time foreground/background separation in high-definition video. The DMD method provides a regression technique for least-square fitting of video snapshots to a linear dynamical system. The method integrates two of the leading data analysis methods in use today: Fourier transforms and Principal Components. DMD modes with temporal Fourier frequencies near the origin (zero-modes) are interpreted as background (low-rank) portions of the given video frames, and the terms with Fourier frequencies bounded away from the origin are their foreground (sparse) counterparts. When combined with compression techniques, the resulting cDMD can process full HD video feeds in real-time on CPU computing platforms while still maintaining competitive video decomposition quality, quantified by F-measure, Recall and Precision. On a GPU architecture, the method is significantly faster than real-time, allowing for further video processing to improve the separation quality and/or enacting further computer vision processes such as object recognition.

研究の動機と目的

• 計算効率の良い手法を用いて、高解像度動画におけるリアルタイムな前景/背景分離を可能にすること。
• フルHD動画ストリーム処理における動的モード分解（DMD）の計算ボトルネックを解消すること。
• DMDの計算負荷を低下させるために、圧縮技術をDMDに統合し、分解品質を損なわずに実現すること。
• 標準的なCPUハードウェア上で動作させながらも、Fスコア、適合率、再現率において競争力のあるパフォーマンスを維持すること。
• リアルタイム動画処理パイプラインを可能にすることで、下流のコンピュータビジョンタスクを支援すること。

提案手法

• 本手法は、動画スナップショットに動的モード分解（DMD）を適用し、最小二乗法によるフィッティングによって線形力学系としてモデル化する。
• 時間的フーリエ周波数がゼロに近いDMDモード（ゼロモード）は、動画内の低ランク構造を表す背景成分として解釈される。
• ゼロから離れた周波数を持つモードは、シーン内のスパースで時間的に変化する変化を捉える前景成分として扱われる。
• DMD分解に圧縮技術を適用することで、データサイズと計算コストを削減し、CPUプラットフォームでのリアルタイム処理を可能にする。
• 圧縮DMDフレームワークは、フルHD動画上で評価され、Fスコア、適合率、再現率といった標準指標を用いて性能が測定される。
• GPUでは、本手法はリアルタイムを上回る性能を示し、追加の処理やオブジェクト認識パイプラインとの統合が可能になる。

実験結果

リサーチクエスチョン

• RQ1 DMDを効果的に圧縮することで、CPUプラットフォーム上でフルHD動画のリアルタイムな前景/背景分離が可能になるか？
• RQ2 DMDに圧縮技術を統合した場合、Fスコア、適合率、再現率で測定される動画分解品質にどのような影響を与えるか？
• RQ3 標準DMDと比較して、cDMDは計算負荷を大幅に削減しながらも、どの程度の精度を維持できるか？
• RQ4 cDMDフレームワークは、CPU上でリアルタイム処理、GPU上で準リアルタイム処理を実現でき、下流のビジョンタスクとの統合を可能にするか？
• RQ5 時間的フーリエ周波数がゼロおよび非ゼロのDMDモードは、動画分解においてそれぞれ背景と前景成分に対応するか？

主な発見

• cDMDは、DMDと圧縮技術を組み合わせることで、標準的なCPUプラットフォーム上でフルHD動画のリアルタイムな前景/背景分離を実現する。
• 計算制約がある中でも、競争力のある動画分解品質を維持し、高いFスコア、適合率、再現率を達成する。
• ゼロ周波数のDMDモードは、動画フレームの低ランク成分として背景を効果的に表現する。
• 非ゼロ周波数のDMDモードは、スパースで時間的に変化する成分として動的な前景活動を捉える。
• GPUアーキテクチャでは、cDMDはリアルタイムをはるかに上回る速度で動作し、追加処理やオブジェクト認識システムとの統合が可能になる。
• DMDと圧縮の組み合わせは、モードの解釈可能性を保ちながら、計算負荷を著しく削減する。