[論文レビュー] Geometry-Based Multiple Camera Head Detection in Dense Crowds

Nicola Pellicanò, Emanuel Aldea+1 more|arXiv (Cornell University)|Aug 2, 2018

Video Surveillance and Tracking Methods参考文献 18被引用数 6

ひとこと要約

本稿では、複数の重複するカメラを用い、ステレオMRF最適化と垂直消失点に一致する高さ勾配制約を活用することで、完全に教師なしで幾何学的アプローチにより密集した群衆における頭部検出を実現する手法を提案する。3視点のみで、外観モデルやキャリブレーションを一切用いずに、広大な領域にわたり重度に遮蔽された歩行者を安定して検出でき、屋外の困難な状況下でも高い再現率と正確性を達成している。

ABSTRACT

This paper addresses the problem of head detection in crowded environments. Our detection is based entirely on the geometric consistency across cameras with overlapping fields of view, and no additional learning process is required. We propose a fully unsupervised method for inferring scene and camera geometry, in contrast to existing algorithms which require specific calibration procedures. Moreover, we avoid relying on the presence of body parts other than heads or on background subtraction, which have limited effectiveness under heavy clutter. We cast the head detection problem as a stereo MRF-based optimization of a dense pedestrian height map, and we introduce a constraint which aligns the height gradient according to the vertical vanishing point direction. We validate the method in an outdoor setting with varying pedestrian density levels. With only three views, our approach is able to detect simultaneously tens of heavily occluded pedestrians across a large, homogeneous area.

研究の動機と目的

• 従来の手法が遮蔽や背景ノイズのため失敗する、混雑した屋外の群衆における頭部検出の課題に対処すること。
• 外観モデル、背景差分、ボディパーツ検出に依存しない、完全に教師なしの手法を開発すること。
• 手動キャリブレーションやラベル付きデータを一切使用せず、幾何的整合性とシーンの事前知識のみに依存して、複数カメラ間で安定した検出を実現すること。
• 足の可視性やフォアグラウンドセグメンテーション、照明変化下での強度相関に依存する既存手法の限界を克服すること。

提案手法

• 密な歩行者高さマップ上で、ステレオマークフ・ランダムフィールド（MRF）最適化として頭部検出を定式化する。
• シーンの幾何学的整合性を強制するために、高さ勾配を垂直消失点の方向に一致させる幾何的制約を導入する。
• 学習や外観モデル、手動アノテーションを一切使用せず、光度データと幾何的事前知識のみに依存する。
• 重複する視点間の幾何的整合性から、カメラポーズと地面平面の幾何をデータから直接推定する。
• エネルギー最小化において、光度項と幾何的制約のバランスを調整するためのパラメータλを用いる正則化を適用する。
• トラックレットの一貫性（しきい値θl）を用いて誤検出をフィルタリングし、時間的信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習や外観モデルを一切使用せず、複数カメラ間の幾何的整合性のみに依存して、密集群衆における頭部検出を達成できるか？
• RQ2 垂直消失点に一致する高さ勾配制約は、遮蔽されたシーンにおける検出のロバスト性をどの程度向上させるか？
• RQ3 幾何的事前知識のみで、重度の雑音とボディパーツの可視性が低いシーンにおいて、どの程度検出が可能か？
• RQ4 正則化パラメータλとトラックレットしきい値θlは、異なる群衆密度において精度と再現率にどのように影響を与えるか？
• RQ5 キャリブレーションや手動介入なしに、大規模で均一な屋外領域においても歩行者を検出できるか？

主な発見

• 3台のカメラ視点のみで、大規模で均一な領域にわたり、数十人の重度に遮蔽された歩行者を検出可能であり、密集群衆下でも安定している。
• スパarsなシーケンス（2969人の歩行者）では、高い精度と再現率を達成しており、正則化パラメータλに依存する性能を示している。
• 密集シーケンス（18,567人の歩行者）でも強力な性能を維持しており、精度に影響を与える要因は稀な低密度フレームに限られる。
• トラックレットしきい値θlは誤検出の除去に効果的であり、最適な性能はθl = 1–3で得られ、それ以上になると逆効果となる。
• 低密度領域では地面レベルのフェイク検出（フィンガープリンティング）が誤検出を引き起こし、単一ピークのボビン型領域が非頭部対象を誤って頭部と特定することがある。
• 幾何的基盤により、照明変化や視点変化に対してもロバストである。強度相関やフォアグラウンドセグメンテーションに依存しないため、その影響を受けにくい。