[論文レビュー] People Counting in Crowded and Outdoor Scenes using a Hybrid Multi-Camera Approach

Fabio Dittrich, Luiz S. Oliveira+2 more|arXiv (Cornell University)|Apr 2, 2017

Video Surveillance and Tracking Methods参考文献 31被引用数 17

ひとこと要約

本稿では、混雑した屋外シーンにおける人物数のカウントのためのハイブリッドマルチカメラ手法を提案する。直接検出（SVMおよびAdaboost）と、コーナーポイント解析と統計モデリングに基づく間接的手法を組み合わせたものである。間接的手法は、PETS2009ベンチマークにおいてベースライン手法比で46.7%の改善を達成し、遮蔽やセグメンテーション誤りに対して感受性が低いため、直接的手法を上回った。

ABSTRACT

This paper presents two novel approaches for people counting in crowded and open environments that combine the information gathered by multiple views. Multiple camera are used to expand the field of view as well as to mitigate the problem of occlusion that commonly affects the performance of counting methods using single cameras. The first approach is regarded as a direct approach and it attempts to segment and count each individual in the crowd. For such an aim, two head detectors trained with head images are employed: one based on support vector machines and another based on Adaboost perceptron. The second approach, regarded as an indirect approach employs learning algorithms and statistical analysis on the whole crowd to achieve counting. For such an aim, corner points are extracted from groups of people in a foreground image and computed by a learning algorithm which estimates the number of people in the scene. Both approaches count the number of people on the scene and not only on a given image or video frame of the scene. The experimental results obtained on the benchmark PETS2009 video dataset show that proposed indirect method surpasses other methods with improvements of up to 46.7% and provides accurate counting results for the crowded scenes. On the other hand, the direct method shows high error rates due to the fact that the latter has much more complex problems to solve, such as segmentation of heads.

研究の動機と目的

• 単一カメラシステムが失敗する混雑で、遮蔽が顕著な屋外環境における正確な人物数のカウントの課題に対処すること。
• 1視点のカウントの限界を克服するため、複数のカメラ視点からの情報を統合することで遮蔽を低減し、シーンカバレッジを向上させること。
• 個々の頭部検出に依存する直接的手法と、グループレベルの特徴および統計モデリングを用いる間接的手法の2つの異なるアプローチを開発・比較すること。
• 視点歪みを補償するための距離重み付けスキームを組み込むことで、カウント精度を向上させること。
• 実世界のベンチマーク（PETS2009）上で提案手法を評価し、複雑な監視シナリオにおける耐障害性とスケーラビリティを示すこと。

提案手法

• 重複する視界を持つ2台のキャリブレーション済みカメラを用い、マルチビュー統合により遮蔽を低減し、可視性を向上させる。
• サポートベクターマシン（SVM）とアダブーストパーセプトロンに基づく2つのヘッド検出器を用いて直接計数手法を実装し、ヘッドおよび非ヘッド画像で学習させる。
• アダブーストパーセプトロンでは、検出効率の向上と誤検出の低減を図るため、段階的分類器アーキテクチャを採用する。
• 間接的手法では、人物グループのフロントエンド群からコーナーポイントを抽出し、面積、周囲長、エッジ特徴に基づいて最小二乗法線形モデルを用いてグループサイズを推定する。
• 視点歪みを補正するため、距離に依存する歪みを補償する重み付けスキームを適用し、カメラから人物までの距離の違いによる精度低下を低減する。
• ホモロジーに基づく対応関係を用いて、2つの視点からの結果を統合し、個々のフレームや視点に限らず、全体のシーンにおける総人数を推定する。

実験結果

リサーチクエスチョン

• RQ1 単一カメラシステムと比較して、マルチカメラ統合は混雑した屋外シーンにおける人物数のカウント精度を顕著に向上させることができるか？
• RQ2 高密度で遮蔽が顕著な環境において、直接検出に基づく手法と間接的統計モデリング手法の性能は、どのように比較されるか？
• RQ3 距離重み付けスキームを組み込むことで、マルチビューにおける人物数のカウント精度はどの程度向上するか？
• RQ4 シーンレベルのカウントにおいて、複数のカメラ視点間で信頼性のある対応点を確立する際の主な課題は何か？
• RQ5 カメラの配置と高さは、マルチビューにおける人物数のカウントシステムの信頼性と精度にどのように影響するか？

主な発見

• 間接的手法は、PETS2009ベンチマークにおいてベースライン手法比で46.7%の改善を達成し、混雑したシーンにおける優れた耐障害性を示した。
• 間接的手法は直接的手法を著しく上回った。直接的手法は、密集した群衆におけるセグメンテーションや検出の失敗により、高い誤差率を示した。
• アダブーストパーセプトロン検出器は、両視点ともに劣悪な性能を示し、平均誤差が1フレームあたり20を超えていた。これは、トレーニングデータの限界と誤報制御の難しさを示唆している。
• 間接的手法における視点歪み補正重み付けスキームの導入により、距離に起因する歪みを補償し、精度が向上した。
• カメラの高さと配置は極めて重要である。最適な配置（5〜7メートルの高さ）と、重複しない視野カバレッジ（例：歩道に沿ったカメラを避ける）が、顕著な結果の向上に寄与した。
• 時間的整合性、例えば複数フレームにわたりヘッドが継続して検出されるような要因は、今後の研究において検出の信頼性を向上させ、誤検出を低減するのに役立つ可能性がある。