[論文レビュー] Spatio-activity based object detection

Jarrad Springett, J. Vendrig|ArXiv.org|Mar 11, 2008

Video Surveillance and Tracking Methods参考文献 5被引用数 3

ひとこと要約

本稿では、JPEG形式でエンコードされた動画ストリームのDCT係数に直接処理を行う軽量なスパティオアクティビティベースの物体検出手法SAMMIを提案する。この手法は、ピクセルドメインへの完全再構成を回避することで、処理時間とメモリ使用量を最大97％まで削減する。隣接ブロック間の時間的整合性を活用し、シーンモデリングに近似中央値法を用いることで、特に小さな物体や静止物体の検出において高い精度と耐障害性を達成する。

ABSTRACT

We present the SAMMI lightweight object detection method which has a high level of accuracy and robustness, and which is able to operate in an environment with a large number of cameras. Background modeling is based on DCT coefficients provided by cameras. Foreground detection uses similarity in temporal characteristics of adjacent blocks of pixels, which is a computationally inexpensive way to make use of object coherence. Scene model updating uses the approximated median method for improved performance. Evaluation at pixel level and application level shows that SAMMI object detection performs better and faster than the conventional Mixture of Gaussians method.

研究の動機と目的

• 大規模なカメラネットワークにおけるリアルタイム動画分析のスケーラビリティ課題に対処し、前景検出における計算オーバーヘッドを低減すること。
• 従来の背景モデリング手法でしばしば見逃されがちな小さな物体や静止物体の検出精度を向上させること。
• 検出性能を損なわずにリソース使用量（処理時間およびメモリ）を最小限に抑えることで、大規模監視システムへの展開を可能にすること。
• 時間的整合性に基づく反復的かつ隣接ブロックに適応した分類により、ノイズやアリasingによる物体の断片化を低減すること。
• ピクセルドメインへの分解を回避し、DCTドメインで直接動画データを処理することで、効率的かつリアルタイムな動作を実現すること。

提案手法

• Motion JPEGストリームをDCTドメインで直接処理し、ピクセル値の再構成ではなく、量子化済みDCT係数を入力として使用する。
• 隣接ブロックが時間的アクティビティパターンの類似性に基づいて同時に分類される、空間的・時間的整合性モデルを適用する。
• 時間的整合性をブロック間で活用する反復的かつ隣接ブロックに適応した分類プロセスを採用し、前景／背景の意思決定を洗練化する。
• 計算コストを低減しつつ、明るさの変化やノイズに対して耐障害性を高めるために、シーンモデルの更新に近似中央値法を用いる。
• 最小時間割合以上に可視化される成分のみを保持するモード削減戦略を採用し、一時的なノイズをフィルタリングする。
• 新しい移動物体への感度と静止物体の安定性のバランスを取るために、設定可能なアクティブモードボーナスを導入する。

実験結果

リサーチクエスチョン

• RQ1 大規模監視システムにおける計算コストを著しく削減しつつ、物体検出の精度を維持できるか？
• RQ2 従来のピクセルドメイン手法（例：Mixture of Gaussians）と比較して、DCTドメイン処理が検出性能をどの程度保持できるか？
• RQ3 隣接ブロック間の時間的整合性を活用することで、物体の断片化はどの程度低減され、追跡適合性はどのように向上するか？
• RQ4 指数的移動平均と比較して、シーンモデリングに近似中央値法を用いることで、耐障害性と効率性の面で優位性を示せるか？
• RQ5 反復的かつ隣接ブロックに適応した分類が、複雑なシーンにおける小さな物体や静止物体の検出に与える影響はいかほどか？

主な発見

• SAMMIはピクセルレベルでF1スコア0.80を達成し、Mixture of Gaussians（0.55）を著しく上回った。主な要因は再現率の向上（0.95 vs. 0.42）に起因する。
• 追跡適合性は3反復時のSAMMIで0.38から0反復時で0.27に向上し、反復回数を増やすことで物体の断片化が低減したことが示された。
• 処理速度はMixture of Gaussiansの5 fpsからSAMMI（3反復時）で25 fpsに向上し、最小限の最適化でも5倍の高速化を達成した。
• シーンモデルのメモリ使用量はMixture of Gaussiansの36,288 KBからSAMMIの1,080 KBにまで97％削減された。
• 本手法は、従来のアプローチでしばしば見逃されがちな小さな物体や静止の前景に対しても高い精度を維持した。
• 近似中央値法により、明るい領域や暗い領域でも明るさの変化やノイズに対して耐障害性が向上し、計算コストの増加なしに効果を発揮した。