[論文レビュー] Content-aware Density Map for Crowd Counting and Density Estimation

Mahdi Maktabdar Oghaz, Anish Khadka+2 more|arXiv (Cornell University)|Jun 17, 2019

Video Surveillance and Tracking Methods参考文献 26被引用数 4

ひとこと要約

本稿では、ブラuteフォース近隣探索、Chan-Vese分離、および適応的2次元ガウスフィルタを組み合わせることで、より正確な真値密度マップを生成するコンテンツに配慮した密度マップ生成手法を提案する。この手法により、ShanghaiTechおよびUCF-CC-50データセットにおける最先端モデルの平均二乗誤差（MSE）と平均絶対誤差（MAE）が低減され、アーキテクチャの変更なしに一貫した性能向上が示された。

ABSTRACT

Precise knowledge about the size of a crowd, its density and flow can provide valuable information for safety and security applications, event planning, architectural design and to analyze consumer behavior. Creating a powerful machine learning model, to employ for such applications requires a large and highly accurate and reliable dataset. Unfortunately the existing crowd counting and density estimation benchmark datasets are not only limited in terms of their size, but also lack annotation, in general too time consuming to implement. This paper attempts to address this very issue through a content aware technique, uses combinations of Chan-Vese segmentation algorithm, two-dimensional Gaussian filter and brute-force nearest neighbor search. The results shows that by simply replacing the commonly used density map generators with the proposed method, higher level of accuracy can be achieved using the existing state of the art models.

研究の動機と目的

• 詳細なアノテーションが不足しており、単純でコンテンツに配慮しない密度マップ生成に依存する既存の集団計数データセットの限界を是正する。
• コンテンツに配慮したセグメンテーションと適応的ガウスフィルタを組み込むことで、真値密度マップの品質を向上させる。
• 既存の最先端集団計数モデルの標準的な密度マップ生成器を本手法に置き換えることで、その精度を向上させる。
• 特に重度の被覆や動的な集団シーンにおいて、密度マップのノイズと重複を低減する。
• より良い真値アノテーションが、回帰ベースの集団計数モデルにおいて測定可能な性能向上をもたらすことを実証する。

提案手法

• 各集団内の人物ごとに、最も近い頭部点をブルートフォース近隣探索で特定し、個々の頭部の正確な局所化を保証する。
• 検出された頭部点から、Chan-Vese分離アルゴリズムを適用して正確な頭部境界の輪郭を抽出し、静的ガウス法よりもマスクの精度を向上させる。
• セグメンテーションされた頭部領域に基づき、実際の頭部形状と距離に応じてサイズと強度を調整したコンテンツに配慮した2次元ガウスフィルタを生成する。
• 個々のガウス関数を累積的に合算してグローバル密度マップを構築し、各イテレーションで正規化を行うことで、カウントの整合性を維持する。
• 公平な比較のため、既存の深層学習モデルにおける標準的なk-NNまたは固定ガウス密度マップ生成器を、本手法に置き換える。
• UCF-CC-50およびShanghaiTechデータセット間で、同じトレーニングおよびテストプロトコルを用いることで、有効な性能評価を保証する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツに配慮した密度マップ生成手法は、従来のk-NNや固定ガウス法と比較して、真値密度マップのノイズと重複を低減できるか？
• RQ2 標準的な密度マップ生成器を本手法に置き換えることで、既存の最先端集団計数モデルの性能が向上するか？
• RQ3 重度の被覆や動的なシーンを含む、挑戦的なデータセット（ShanghaiTech Part AおよびUCF-CC-50）において、本手法はどの程度の性能を示すか？
• RQ4 コンテンツに配慮したセグメンテーションと適応的ガウスフィルタは、密集した集団シーンにおける局所化と計数精度をどの程度向上させるか？
• RQ5 本手法は、アーキテクチャの変更なしに既存モデルに統合可能であり、依然として測定可能な性能向上をもたらすか？

主な発見

• 提案されたコンテンツに配慮した密度マップ生成器は、ShanghaiTech Part AおよびPart Bの両データセットにおいて、全テストモデルで平均二乗誤差（MSE）を一貫して低減した。
• ShanghaiTech Part Aでは、モデルごとにMSEの改善が2〜3ポイントにのぼり、特にSindagiらの手法で最大の相対的向上（152から149）が観察された。
• より挑戦的なUCF-CC-50データセットでは、Zhang らのモデルのMSEが498から483に低下し、MAEも467から459に減少した。これは顕著なノイズ低減を示している。
• 図2の可視化比較では、本手法が、特に重度に被覆された領域で、重複するガウス関数が少なく、より密度が高く、詳細な密度マップを生成していることが明らかになった。
• 重複領域による過剰カウントを防ぐために、累積ガウスマップのイテレーションごとの正規化を継続的に行うことで、カウントの整合性が維持されている。
• 性能向上は複数の最先端モデルにわたり一貫しており、本手法による真値生成技術の一般化可能性が確認された。