[論文レビュー] Real-Time Background Subtraction Using Adaptive Sampling and Cascade of Gaussians

Bangalore Ravi Kiran, Senthil Yogamani|arXiv (Cornell University)|May 25, 2017

Video Surveillance and Tracking Methods参考文献 9被引用数 4

ひとこと要約

本稿では、Gaussian Mixture Model (GMM) を Viola-Jones にインspiredされた拒否カスケードに分解することで、リアルタイム背景差分抽出のための適応的カスケードを提案する。これにより、標準動画上で処理速度が5倍～10倍向上し、同時に精度が17%向上する。時間的整合性と事前分布を用いて、信頼性に基づく学習率およびしきい値の適応を支援し、効率的な空間的・時間的サンプリングを実現する。

ABSTRACT

Background-Foreground classification is a fundamental well-studied problem in computer vision. Due to the pixel-wise nature of modeling and processing in the algorithm, it is usually difficult to satisfy real-time constraints. There is a trade-off between the speed (because of model complexity) and accuracy. Inspired by the rejection cascade of Viola-Jones classifier, we decompose the Gaussian Mixture Model (GMM) into an adaptive cascade of classifiers. This way we achieve a good improvement in speed without compensating for accuracy. In the training phase, we learn multiple KDEs for different durations to be used as strong prior distribution and detect probable oscillating pixels which usually results in misclassifications. We propose a confidence measure for the classifier based on temporal consistency and the prior distribution. The confidence measure thus derived is used to adapt the learning rate and the thresholds of the model, to improve accuracy. The confidence measure is also employed to perform temporal and spatial sampling in a principled way. We demonstrate a speed-up factor of 5x to 10x and 17 percent average improvement in accuracy over several standard videos.

研究の動機と目的

• ピクセル単位のモデルを用いたリアルタイム背景・前景分離における速度と精度のトレードオフを解消すること。
• リアルタイム応用における従来のGMMベース背景差分抽出の計算ボトルネックを克服すること。
• 時間的不整合性および振動するピクセルをモデル化することで分類精度を向上させるため、事前分布学習を用いること。
• 信頼性測度によって誘導される原理的な空間的・時間的サンプリングを通じて、効率的な計算を実現すること。
• 動的映像シーケンスにおいて、検出精度を損なうことなく高速処理を達成すること。

提案手法

• Viola-Jones の拒否カスケードにインspiredされた、適応的カスケード型分類器へのGaussian Mixture Model (GMM) の分解により、処理を高速化する。
• 異なる時間的期間に対応する複数のカーネル密度推定 (KDE) を学習し、事前分布をモデル化し、誤分類されやすい振動するピクセルを検出する。
• 時間的整合性と事前分布に基づく信頼性測度を導入し、動的に学習率および分類しきい値を調整する。
• 信頼性測度を用いて、適応的空間的・時間的サンプリングを誘導し、低信頼度ピクセルでの計算を削減する。
• 信頼性に基づく適応を適用して、リアルタイムでモデルパラメータを精緻化し、ノイズおよび動的背景に対してより高いロバスト性を実現する。
• GMM とカスケード構造を統合することで、背景ピクセルの早期拒否を可能にし、推論の高速化を実現しながらも精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 Viola-Jones にインspiredされたカスケードアーキテクチャは、GMMベース背景差分抽出の速度を低下させることなく向上させることができるか？
• RQ2 時間的整合性と事前分布をどのように活用することで、背景差分抽出における分類信頼性を向上させることができるか？
• RQ3 適応的学習率およびしきい値は、振動するピクセルおよび動的シーンに対して、どの程度モデルのロバスト性を向上させることができるか？
• RQ4 信頼性ベースのサンプリングは、リアルタイム動画処理における計算負荷を低減しつつ、検出精度を維持できるか？
• RQ5 GMMベース背景モデリングに適応的カスケーディングを適用した際の、スピードアップと精度向上のトレードオフはどのようなものか？

主な発見

• 提案手法は、標準GMMベース背景差分抽出手法と比較して、リアルタイム動画処理において5倍～10倍の高速化を達成した。
• 複数の標準動画シーケンスにおいて、ベースラインGMMアプローチと比較して平均精度が17%向上した。
• 信頼性測度は、振動するピクセルを効果的に同定し、適応的しきい値および学習率調整により誤分類を低減した。
• 信頼性に基づく適応的空間的・時間的サンプリングは、検出品質に影響を与えることなく、顕著な計算負荷の削減を実現した。
• 異なる期間に対応する複数のKDEの使用により、時間的ダイナミクスのより良いモデル化が可能になり、背景変化に対してより高いロバスト性が向上した。
• カスケード構造により、背景ピクセルの早期拒否が可能となり、処理速度の向上を実現しながらも、高い検出精度を維持した。