[論文レビュー] An Efficient Approach for Object Detection and Tracking of Objects in a Video with Variable Background

Kumar S. Ray, Soma Chakraborty|arXiv (Cornell University)|May 11, 2017

Video Surveillance and Tracking Methods参考文献 2被引用数 8

ひとこと要約

本論文は、位相相関とフーリエシフト定理を用いてカメラの動きに起因する疑似運動を推定・補正することで、背景が変化する動画において、初期化を不要とする、動きを検出・追跡する新規な手法を提案する。フレーム履歴を用いて動的背景をモデル化し、2段階のモルフォロジー演算を適用することで、訓練や手動の初期化を要せず、ベンチマークデータセットにおいて優れた性能を達成する前景検出とカルマンフィルタベースの追跡を実現する。

ABSTRACT

This paper proposes a novel approach to create an automated visual surveillance system which is very efficient in detecting and tracking moving objects in a video captured by moving camera without any apriori information about the captured scene. Separating foreground from the background is challenging job in videos captured by moving camera as both foreground and background information change in every consecutive frames of the image sequence; thus a pseudo-motion is perceptive in background. In the proposed algorithm, the pseudo-motion in background is estimated and compensated using phase correlation of consecutive frames based on the principle of Fourier shift theorem. Then a method is proposed to model an acting background from recent history of commonality of the current frame and the foreground is detected by the differences between the background model and the current frame. Further exploiting the recent history of dissimilarities of the current frame, actual moving objects are detected in the foreground. Next, a two-stepped morphological operation is proposed to refine the object region for an optimum object size. Each object is attributed by its centroid, dimension and three highest peaks of its gray value histogram. Finally, each object is tracked using Kalman filter based on its attributes. The major advantage of this algorithm over most of the existing object detection and tracking algorithms is that, it does not require initialization of object position in the first frame or training on sample data to perform. Performance of the algorithm is tested on benchmark videos containing variable background and very satisfiable results is achieved. The performance of the algorithm is also comparable with some of the state-of-the-art algorithms for object detection and tracking.

研究の動機と目的

• 移動するカメラで撮影された、背景が変化する動画における動きのある物体の検出と追跡の課題に対処すること。
• カメラの動きに起因する疑似運動のため、従来の背景差分法が失敗するという制限を克服すること。
• 事前知識（シーン情報、物体形状、学習データなど）が不要な、初期化を必要としない手法の開発。
• 実世界の監視シーンにおけるオクルージョン、照明変化、背景のごみ（クラッター）に対して耐性を持つこと。
• 周波数ドメイン解析とモルフォロジー的精錬を用いて、物体検出と追跡の高精度かつ高効率を達成すること。

提案手法

• フーリエシフト定理に基づき、周波数ドメインにおける位相相関を用いて、連続する動画フレーム間の疑似運動を推定・補正する。
• 現在のフレームと直近の過去フレームとの共通性を分析することで、フレーム履歴を用いて動的背景モデルを構築し、ちらつきやノイズを低減する。
• 現在のフレームと背景モデルとの類似性の差異を計算することで前景を検出し、最近の履歴に焦点を当てて実際に動いている物体を分離する。
• 2段階のモルフォロジー演算を適用して物体領域を精錬し、物体サイズに最適化し、断片化を低減する。
• 各検出物体をその重心、寸法、およびグレースケールヒストグラムの上位3ピークを用いて、頑健な特徴記述子として表現する。
• 物体の特徴（重心、サイズ、強度分布）を活用して、トラックの連続性を維持し、オクルージョンに対処するカルマンフィルタを用いて物体を追跡する。

実験結果

リサーチクエスチョン

• RQ1 移動カメラで撮影された動画において、背景の疑似運動を効率的に推定・補正することは可能か？
• RQ2 事前シーン知識や学習データがなくても、動的背景モデルを構築することは可能か？
• RQ3 フレーム履歴を用いて、ちらつきやノイズからの分離を可能にする、実際に動いている物体の特定はどのように達成できるか？
• RQ4 物体領域を正確に追跡するために最適なモルフォロジー演算は何か？
• RQ5 最小限の特徴表現を用いたカルマンフィルタは、複雑な背景において複数の物体を効果的に追跡でき、オクルージョンに対処できるか？

主な発見

• 提案手法は、HOGやMCTと同等またはそれ以上の性能を、背景が変化するベンチマーク動画で達成した。
• オクルージョン、回転（平面内および平面外）、変形、背景のクラッターに対しても、優れた耐性を示した。
• BDFと比較して、オクルージョンを除くすべてのシナリオで優れた性能を示し、複雑な視覚的課題に対しても強い耐性を示した。
• オプティカルフローまたは特徴点追跡と比較して、位相相関による運動補正により、計算複雑度が低減された。
• 2段階のモルフォロジー演算は、物体領域の精錬に効果的であり、密に近接した物体の正確な追跡を可能にした。
• 重心、寸法、強度ヒストグラムピークを特徴として用いたカルマンフィルタは、データ関連付けを効果的に解決し、トラックの連続性を維持した。