[論文レビュー] Scene Invariant Crowd Segmentation and Counting Using Scale-Normalized Histogram of Moving Gradients (HoMG)

Parthipan Siva, Mohammad Javad Shafiee+2 more|arXiv (Cornell University)|Feb 1, 2016

Video Surveillance and Tracking Methods参考文献 21被引用数 7

ひとこと要約

本論文では、異なるカメラ画角にわたる頑健性を確保するためのスケール正規化を施した、低複雑度な新規ヒストグラム・オブ・モービング・グレディエントス（HoMG）特徴量を用いたシーン不変型の群衆セグメンテーションおよびカウント手法を提案する。この手法はリアルタイム性能（1フレームあたり18ms）を達成し、7台のカメラを用いたベンチマークで最先端手法と比較してMAEが1.5倍低く、MSEが2.25倍低く、産業的応用に適した高い精度と計算効率を示している。

ABSTRACT

The problem of automated crowd segmentation and counting has garnered significant interest in the field of video surveillance. This paper proposes a novel scene invariant crowd segmentation and counting algorithm designed with high accuracy yet low computational complexity in mind, which is key for widespread industrial adoption. A novel low-complexity, scale-normalized feature called Histogram of Moving Gradients (HoMG) is introduced for highly effective spatiotemporal representation of individuals and crowds within a video. Real-time crowd segmentation is achieved via boosted cascade of weak classifiers based on sliding-window HoMG features, while linear SVM regression of crowd-region HoMG features is employed for real-time crowd counting. Experimental results using multi-camera crowd datasets show that the proposed algorithm significantly outperform state-of-the-art crowd counting algorithms, as well as achieve very promising crowd segmentation results, thus demonstrating the efficacy of the proposed method for highly-accurate, real-time video-driven crowd analysis.

研究の動機と目的

• 個々のカメラに対する最小限のキャリブレーションやアノテーションで、動画監視におけるシーン不変型の群衆セグメンテーションとカウントに課題を解決すること。
• 多様なカメラアングルや視点歪みにわたっても精度を維持できる、低複雑度でスケーラブルな特徴記述子の開発。
• 計算オーバーヘッドを最小限に抑えつつ精度を最大化することで、産業的応用に適したリアルタイム処理の実現。
• 拡張された13台のカメラデータセットを用いて、多様なカメラ視点とシーン構成においても頑健性と一般化性能を確認すること。

提案手法

• 人物のサイズに応じたカメラ距離の変化に適応可能な、スケール正規化を施した時空間的特徴量であるヒストグラム・オブ・モービング・グレディエントス（HoMG）を導入。
• カメラキャリブレーションを用いてスケール正規化を実施し、画像領域を再スケーリングすることで、人物の幅を一貫してw_pピクセルに保ち、衣服の違いを除去する。
• スライディングウィンドウによるHoMG特徴量と、弱分類器のブーストドカスケードを用いてリアルタイムな群衆領域セグメンテーションを実現。
• 群衆領域のHoMG特徴量に線形SVM回帰を適用し、累積勾配マグニチュードと人物数との線形関係を活用して群衆数を推定。
• 特徴抽出の前に、スケール正規化された画像ストリップ上でモービング・グレディエントを処理することで、一貫したスケール表現を確保。
• C++で実装し、SSE最適化を適用することで、標準CPU上で1フレームあたり18ms（約55FPS）の処理速度を達成。

実験結果

リサーチクエスチョン

• RQ1 1つのスケール正規化特徴記述子のみで、個々のカメラのトレーニングなしに多様なカメラ視点で正確な群衆セグメンテーションとカウントが可能か？
• RQ2 モービング・グレディエント計算の前段階でスケール正規化を施すことで、HoMG特徴量の線形性と信頼性がどのように向上するか？
• RQ3 提案手法のHoMGは、精度と計算効率の両面で最先端手法をどの程度上回るか？
• RQ4 本手法は、カメラアングルやシーン構成に大きなばらつきを持つ、より大規模で多様なデータセットに対しても、頑健性を維持できるか？

主な発見

• 提案手法のHoMGは、7台のカメラを用いたベンチマークで、最先端手法であるSIM3Cと比較して、平均絶対誤差（MAE）が1.5倍低く、平均二乗誤差（MSE）が2.25倍低かった。
• エッジ、ボブ、キーポイント特徴量を含む複数の特徴量に依存するSIM3Cと比較して、単一の特徴量（HoMG）のみを用いても、同手法を上回った。
• 1フレームあたりの平均処理時間が18msで、Intel Core i7プロセッサ上で50FPS以上を達成し、リアルタイム処理を実現した。
• モービング・グレディエント計算の前段階でのスケール正規化が不可欠であった：図13に示すように、これを省略した場合、HoMG特徴量は群衆数との線形関係を失った。
• 拡張された13台のカメラデータセットは、カメラアングルや視点の大きなばらつきに対しても本手法の頑健性を確認し、シーン不変性を裏付けた。
• 低密度のシーンでは、SIM3Cよりも高いMDE（平均偏差誤差）を示したため、人物数が少ない場合にノイズやフィッティングのばらつきに対して感受性が高いことが判明した。