[論文レビュー] DeepPBM: Deep Probabilistic Background Model Estimation from Video Sequences

Amirreza Farnoosh, Behnaz Rezaei+1 more|arXiv (Cornell University)|Feb 3, 2019

Video Surveillance and Tracking Methods参考文献 24被引用数 9

ひとこと要約

本稿では、静的背景の低次元潜在表現を学習する変分オートエンコーダ（VAE）を用いた、深層確率的背景モデルであるDeepPBMを提案する。この手法はF-measureでRPCAを23%上回り、10倍以上高速に処理可能であり、監視映像における長期的背景変化に対しても効果的に適応可能である。

ABSTRACT

This paper presents a novel unsupervised probabilistic model estimation of visual background in video sequences using a variational autoencoder framework. Due to the redundant nature of the backgrounds in surveillance videos, visual information of the background can be compressed into a low-dimensional subspace in the encoder part of the variational autoencoder, while the highly variant information of its moving foreground gets filtered throughout its encoding-decoding process. Our deep probabilistic background model (DeepPBM) estimation approach is enabled by the power of deep neural networks in learning compressed representations of video frames and reconstructing them back to the original domain. We evaluated the performance of our DeepPBM in background subtraction on 9 surveillance videos from the background model challenge (BMC2012) dataset, and compared that with a standard subspace learning technique, robust principle component analysis (RPCA), which similarly estimates a deterministic low dimensional representation of the background in videos and is widely used for this application. Our method outperforms RPCA on BMC2012 dataset with 23% in average in F-measure score, emphasizing that background subtraction using the trained model can be done in more than 10 times faster.

研究の動機と目的

• 監視映像における背景差分抽出のための教師なしで汎用的かつ計算効率の良い手法の開発。
• 反復的最適化に起因する計算コストの高さゆえに遅く、計算が重い伝統的な部分空間学習手法（例：RPCA）の限界を克服すること。
• 深層生成モデルを活用し、下流の深層学習タスクにおけるデータ拡張のための合成背景の生成を可能とすること。
• 手動での再トレーニングなしに、長期的なシーン変化に背景モデルをリアルタイムで適応させること。
• アノテーション付き前景マスクを必要とする教師あり深層学習手法に対するスケーラブルな代替手法を提供すること。

提案手法

• 動画フレームを変分オートエンコーダ（VAE）で低次元潜在空間に符号化し、背景が低ランク部分空間に圧縮されるようにする。
• デコーダーが潜在表現から背景を再構築し、入力フレームと再構築背景との差分を閾値処理することで前景オブジェクトを検出する。
• 潜在空間をガウス分布としてモデル化することで、潜在変数からのサンプリングにより確率的・生成的な合成背景が可能になる。
• 全フレームを用いて教師なしで学習を行い、背景のダイナミクス（例：風や雨の影響がある場合など）に応じて潜在次元 $d$ を調整する。
• 長時間の動画に対しては、最初の20%のフレームでモデルを事前学習し、その後すべてのフレームに対して逐次的に推論を実行する。
• VAEの生成的性質により、背景の変化（例：移動中の車両が背景に組み込まれるなど）を暗黙的に検出可能となる。

実験結果

リサーチクエスチョン

• RQ1 VAEのような深層生成モデルは、教師なしで静的動画背景のコンパクトで確率的な表現を効果的に学習できるか？
• RQ2 標準ベンチマーク動画上で、DeepPBMのF-measureと推論速度はRPCAと比較してどの程度優れているか？
• RQ3 再トレーニングなしに、DeepPBMモデルは、移動中の車両が背景に組み込まれるような長期的背景変化に適応できるか？
• RQ4 モデルの生成的機能は、データ拡張の目的で、どれほど現実的な合成背景を生成できるか？
• RQ5 DeepPBMの教師なし学習フレームワークは、背景ダイナミクスが異なる多様な監視シーンに一般化可能か？

主な発見

• BMC2012データセットにおいて、DeepPBMはRPCAを平均F-measureで23%上回り、背景モデリングの精度が優れていることが示された。
• 推論速度がRPCAを10倍以上上回り、リアルタイム監視映像処理に適した性能を達成した。
• 長時間動画（最大78分）においても、平均F-measureが0.69を維持し、シーン変化への強い適応性を示した。
• 静止した車両が動き始めると、前景として正しく検出されたことから、動的背景への適応が有効に機能していることが確認された。
• VAEの生成的機能により、潜在変数を変化させることで合成背景の生成が可能となり、将来的なデータ拡張用途に応用可能である。
• 適切な潜在次元 $d$ を選択すれば、風や雨など動的背景を伴うシーンに対しても、本モデルは有効に機能することが示された。