[論文レビュー] Image Segmentation in Video Sequences: A Probabilistic Approach

Nir Friedman, Stuart Russell|arXiv (Cornell University)|Feb 6, 2013

Image Retrieval and Classification Techniques参考文献 12被引用数 830

ひとこと要約

この論文では、Roadwatchのような交通監視システムにおける車両追跡の精度を著しく向上させるために、従来の背景差分法の限界を克服するための確率的混合ガウスモデルを提案している。このモデルは、各画素の外観を、背景、前景、影などの異なるクラスに応じてモデル化し、増分的EMアルゴリズムを用いて更新することで、ゆっくり動く物体の処理や影と実際の運動の区別を効果的に行う。

ABSTRACT

"Background subtraction" is an old technique for finding moving objects in a video sequence for example, cars driving on a freeway. The idea is that subtracting the current image from a timeaveraged background image will leave only nonstationary objects. It is, however, a crude approximation to the task of classifying each pixel of the current image; it fails with slow-moving objects and does not distinguish shadows from moving objects. The basic idea of this paper is that we can classify each pixel using a model of how that pixel looks when it is part of different classes. We learn a mixture-of-Gaussians classification model for each pixel using an unsupervised technique- an efficient, incremental version of EM. Unlike the standard image-averaging approach, this automatically updates the mixture component for each class according to likelihood of membership; hence slow-moving objects are handled perfectly. Our approach also identifies and eliminates shadows much more effectively than other techniques such as thresholding. Application of this method as part of the Roadwatch traffic surveillance project is expected to result in significant improvements in vehicle identification and tracking.

研究の動機と目的

• 従来の背景差分法がゆっくり動く物体に対し失敗するなど、動画セグメンテーションにおける主な限界を解消すること。
• 動画シーケンス内で、前景、影、背景などの異なるオブジェクトクラスの外観分布を学習する画素単位の分類モデルを構築すること。
• 変化するシーン状態に適応できる、非監視的で効率的なEMに基づくアルゴリズムを用いて、背景モデルをリアルタイムで増分的に学習できるようにすること。
• 影による誤検出を低減し、車両検出および追跡の正確性を向上させることで、交通監視における動画セグメンテーションを改善すること。
• Roadwatch交通監視プロジェクトのような実世界のシステムに適用可能な、堅牢でスケーラブルな動画セグメンテーションソリューションを提供すること。

提案手法

• 各画素は、背景、前景、影などの異なるクラスを表す成分を有する混合ガウス（MoG）分布でモデル化される。
• リアルタイムでのパラメータ学習と更新を可能にする、増分的で非監視的な期待値最大化（EM）アルゴリズムが用いられる。
• モデルは、各ガウス成分における画素の強度値の尤度に基づき、最も確率の高いクラスに画素を割り当てる。
• 観測された画素強度に基づいて、成分の重みとパラメータを動的に更新することで、ゆっくり動く物体への適応が可能になる。
• 影を静的で低強度の成分としてモデル化し、動きのある前景オブジェクトとは統計的に明確に区別することで、影検出機構を統合する。
• しきい値ベースの影除去を避けることで、確率的分類に依存し、誤検出の低減を実現する。

実験結果

リサーチクエスチョン

• RQ1 背景差分法を単に超える画素単位の分類手法は、ゆっくり動く物体に対してもどのように改善できるか？
• RQ2 確率的モデルは、動画データにおいて影と実際の動きのあるオブジェクトを効果的に区別できるか？
• RQ3 増分的EMに基づく学習アプローチは、動的な動画環境におけるロバスト性と適応性をどの程度向上させるか？
• RQ4 混合ガウスモデルは、画像平均化手法と比較して、セグメンテーションの正確性と誤検出の低減においてどの程度優れているか？
• RQ5 この手法は、車両追跡の向上を図る実世界の交通監視システムに、実際に効果的に導入可能か？

主な発見

• 提案手法は、ゆっくり動く物体のセグメンテーションを成功裏に実現し、従来の背景差分法の主な限界を克服した。
• 影は効果的に同定され、前景検出から除外され、しきい値ベースの手法と比較して誤検出が低減した。
• 増分的EMアルゴリズムにより、動画データの完全再処理を必要とせず、リアルタイムで背景モデルの学習と適応が可能になった。
• Roadwatch交通監視システム内での車両検出および追跡の正確性が向上し、より優れたセグメンテーションのおかげで、高い性能を達成した。
• 確率的フレームワークにより、照明条件や運動状態の変化に対しても画素の分類が堅牢に実現された。
• 複雑な動画シーケンスにおいて、従来の背景差分法に比べてセグメンテーション性能が顕著に向上した。