[論文レビュー] Kinects and Human Kinetics: A New Approach for Studying Crowd Behavior

Stefan Seer, Norbert Brändle+1 more|arXiv (Cornell University)|Oct 10, 2012

Video Surveillance and Tracking Methods参考文献 22被引用数 13

ひとこと要約

本稿では、複数のMicrosoft Kinectセンサーを用いて上空からの視点から高精度な3次元歩行者軌跡を取得する手法を提案する。これにより、群衆行動モデリングのためのスケーラブルで低コストなデータ収集が可能になる。本手法は94%の歩行者検出率と4 cmのトラッキング精度を達成し、相対速度と力の分解を用いた相対的な衝突回避を実現した、3つのバリエーションのSocial Forceモデルを効果的にキャリブレーションおよび検証した。

ABSTRACT

Modeling crowd behavior relies on accurate data of pedestrian movements at a high level of detail. Imaging sensors such as cameras provide a good basis for capturing such detailed pedestrian motion data. However, currently available computer vision technologies, when applied to conventional video footage, still cannot automatically unveil accurate motions of groups of people or crowds from the image sequences. We present a novel data collection approach for studying crowd behavior which uses the increasingly popular low-cost sensor Microsoft Kinect. The Kinect captures both standard camera data and a three-dimensional depth map. Our human detection and tracking algorithm is based on agglomerative clustering of depth data captured from an elevated view - in contrast to the lateral view used for gesture recognition in Kinect gaming applications. Our approach transforms local Kinect 3D data to a common world coordinate system in order to stitch together human trajectories from multiple Kinects, which allows for a scalable and flexible capturing area. At a testbed with real-world pedestrian traffic we demonstrate that our approach can provide accurate trajectories from three Kinects with a Pedestrian Detection Rate of up to 94% and a Multiple Object Tracking Precision of 4 cm. Using a comprehensive dataset of 2240 captured human trajectories we calibrate three variations of the Social Force model. The results of our model validations indicate their particular ability to reproduce the observed crowd behavior in microscopic simulations.

研究の動機と目的

• 微視的歩行者シミュレーションモデルのキャリブレーションに必要な正確で大規模な軌跡データの不足に対処する。
• 遮蔽、照明の変化、手動アノテーションの負担といった、従来の動画ベースのトラッキングの限界を克服する。
• 消費者向け3次元センサーを用いた、低コストでスケーラブルな詳細な人体運動データ収集ソリューションの開発。
• 実世界の環境において、複数のKinectセンサーに跨る個々の人物を自動的かつ正確にトラッキングすることを可能にする。
• 経験的に収集した軌跡データを用いて、Social Forceモデルのバリエーションをキャリブレーションおよび検証する。

提案手法

• 上位からの視点でRGBおよび3次元深度データを取得するためにMicrosoft Kinectセンサーを活用し、ゲーム用途の側面からの視点制限を回避する。
• 深度データに対して階層的クラスタリングを適用し、共通のワールド座標系に統合された個々の歩行者を検出およびグループ化する。
• 複数のKinectからの深度データを統一されたワールド座標系に合わせるために剛体変換を実行し、軌跡のステッチングを実現する。
• 時間経過にわたる歩行者のトラッキングを、階層的クラスタリングに基づくトラッキングアルゴリズムを用いて実施し、連続的な軌跡を生成する。
• キャリブレーション技術を用いて、個々のKinectデータを共有座標系にマップし、マルチセンサー軌跡統合を可能にする。
• 検出およびトラッキング性能の評価に、手動でアノテートされた真値データを用い、歩行者検出率および複数対象トラッキング精度を含む。

実験結果

リサーチクエスチョン

• RQ1 Kinectセンサーは、実世界の環境における歩行者移動の正確でスケーラブルかつ低コストなデータ収集を可能にするか？
• RQ2 提案されたトラッキングアルゴリズムの性能は、真値と比較して検出率およびトラッキング精度の観点でどの程度か？
• RQ3 経験的に収集した軌跡データでキャリブレーションされた場合、Social Forceモデルのどのバリエーションが観察された群衆行動を最もよく再現するか？
• RQ4 反発力に相対速度を組み込むことで、微視的歩行者シミュレーションの現実性が向上するか？
• RQ5 複数のKinectに跨る軌跡ステッチングは、大規模な監視シナリオにおいても高い正確性と一貫性を維持できるか？

主な発見

• 提案されたシステムは、2つの手動でアノテートされた真値データセットを用いた評価で、最高94%の歩行者検出率を達成した。
• 複数対象トラッキング精度は約4 cmと定量的に評価され、軌跡推定における高い位置精度を示している。
• 複数のKinectに跨る軌跡ステッチングは、最高98%の真陽性率を達成し、マルチセンサー統合における高い頑健性を示している。
• コルモゴロフ＝スミルノフ検定により、相対速度と力の分解を組み込んだ改良型Social Forceモデルのシミュレートされた歩行時間分布が、有意水準0.05で測定された分布と統計的に区別できないことが確認された。
• 反発力を減速成分と回避成分に分割するモデルバージョンが、観察された群衆行動と最も良好な定性的および定量的整合性を示した。
• 本研究では、MITのインフィニットコリドアで実施した実際の歩行実験から、合計2240件の個々の軌跡を収集し、モデルキャリブレーションに向けた包括的なデータセットを構築した。