[論文レビュー] Object Detection by Spatio-Temporal Analysis and Tracking of the Detected Objects in a Video with Variable Background

Kumar S. Ray, Vijayan K. Asari+1 more|arXiv (Cornell University)|Apr 28, 2017

Video Surveillance and Tracking Methods参考文献 1被引用数 6

ひとこと要約

本論文では、変動する背景を持つ動画に対して、3次元ガボールフィルターバンクを用いた空間時間的解析により動きのblobsを抽出し、最小全域木（MST）を用いてそれらを統合することで完全な物体を形成する、新しい物体検出および追跡手法を提案する。本手法は特徴ベースの線形代入問題（LAP）とカルマンフィルタを用いて物体を追跡し、遮蔽の処理も行う。初期化や学習データを必要とせず、最先端の性能を達成している。

ABSTRACT

In this paper we propose a novel approach for detecting and tracking objects in videos with variable background i.e. videos captured by moving cameras without any additional sensor. In a video captured by a moving camera, both the background and foreground are changing in each frame of the image sequence. So for these videos, modeling a single background with traditional background modeling methods is infeasible and thus the detection of actual moving object in a variable background is a challenging task. To detect actual moving object in this work, spatio-temporal blobs have been generated in each frame by spatio-temporal analysis of the image sequence using a three-dimensional Gabor filter. Then individual blobs, which are parts of one object are merged using Minimum Spanning Tree to form the moving object in the variable background. The height, width and four-bin gray-value histogram of the object are calculated as its features and an object is tracked in each frame using these features to generate the trajectories of the object through the video sequence. In this work, problem of data association during tracking is solved by Linear Assignment Problem and occlusion is handled by the application of kalman filter. The major advantage of our method over most of the existing tracking algorithms is that, the proposed method does not require initialization in the first frame or training on sample data to perform. Performance of the algorithm has been tested on benchmark videos and very satisfactory result has been achieved. The performance of the algorithm is also comparable and superior with respect to some benchmark algorithms.

研究の動機と目的

• 移動するカメラで撮影された変動する背景を持つ動画における、動く物体の検出と追跡の課題に対処すること。
• 物体検出および追跡において、事前のシーン知識、背景モデリング、学習データの必要性を排除すること。
• 空間時間的解析と特徴ベースの追跡を用いて、遮蔽および背景の変化に強い堅牢な手法を開発すること。
• 照明の変化や物体の接近といった動的条件下でも、高い精度と安定性を実現すること。
• 空間的・時間的初期化を最初のフレームでする必要のない、完全に自動化されたシステムを提供すること。

提案手法

• 連続する動画フレームの空間時間的ブロックを分析するために、3次元ガボールフィルターバンクを適用し、高運動エネルギー領域を検出する。
• 3次元ガボール出力に対して選択的平均処理を施し、ノイズおよび情報のないピxlsを低減することで、空間時間的blobsを生成する。
• 空間的および特徴的類似性に基づいて、同一物体の離散的blob部分をクラスカルの最小全域木（KMST）を用いて統合する。
• 各検出物体を高さ、幅、4ビンのグレーバリューヒストグラムとしての特徴で表現する。
• 連続するフレーム間の特徴を関連付けるために、線形代入問題（LAP）を解いて物体を追跡する。
• カルマンフィルタを用いて物体の状態を予測し、一時的な遮蔽に対処することで、追跡の堅牢性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 背景モデリングを必要とせず、3次元ガボールフィルタを用いた空間時間的解析が、変動する背景を持つ動画における動きの物体を効果的に検出できるか。
• RQ2 最小全域木（MST）アプローチが、動的シーンにおける断片的な動きblobsを一貫した物体に統合するのにどの程度有効か。
• RQ3 ベンチマークデータセット上で、提案手法が最先端の追跡アルゴリズムをどの程度上回っているか（正確性と成功確率の観点から）。
• RQ4 複雑な動画シーケンスにおいて、遮蔽と初期化フリーの追跡をどの程度うまく処理できるか。
• RQ5 学習や初期化なしで、照明の変化や物体の接近といった多様な動画条件においても、高い性能を維持できるか。

主な発見

• 標準的な重複閾値（t₀ = 0.5）を用いたTB50およびTB100ベンチマークデータセットにおいて、本手法は平均成功率87.71%、平均正確性80.73%を達成した。
• 空間的堅牢性評価（SRE）において、本手法は空間的初期化に依存しないため、STCのような手法とは異なり優れた性能を示した。
• 時間的堅牢性評価（TRE）において、本手法は長期的な学習に依存せず、短期的な時間的情報を用いるため、強い性能を維持した。
• 本手法は、シーケンスの最初の6フレームを除き、任意のフレームから物体を検出・追跡できることを示し、時間的初期化に対する堅牢性を裏付けた。
• AUCおよび中心位置誤差（CLE）を用いた評価において、本アルゴリズムはスケール変動、運動歪み、照明変動、遮蔽の4つの属性すべてにおいて、最先端の手法[5, 16, 23]と同等またはそれを上回った。
• 本システムは動画全体にわたり顕著な動きを示す物体を自動で検出でき、一時的な遮蔽がblobs生成や追跡の継続性に影響を与えないことを確認した。