[論文レビュー] Focal Inverse Distance Transform Maps for Crowd Localization and Counting in Dense Crowd

Dingkang Liang, Wei Xu+2 more|arXiv (Cornell University)|Feb 16, 2021

Video Surveillance and Tracking Methods参考文献 43被引用数 13

ひとこと要約

本論文では、従来の密度マップに代わる鋭く重複のない表現として、Focal Inverse Distance Transform (FIDT) マップを提案し、混雑したシーンにおける集団の局所化とカウントを向上させる。この手法はFIDTマップを用いたCNN回帰を採用し、最先端の局所化性能と競争力あるカウント精度を達成するとともに、極端に密集した状況やネガティブサンプルに対しても強いロバスト性を示す。

ABSTRACT

In this paper, we propose a novel map for dense crowd localization and crowd counting. Most crowd counting methods utilize convolution neural networks (CNN) to regress a density map, achieving significant progress recently. However, these regression-based methods are often unable to provide a precise location for each person, attributed to two crucial reasons: 1) the density map consists of a series of blurry Gaussian blobs, 2) severe overlaps exist in the dense region of the density map. To tackle this issue, we propose a novel Focal Inverse Distance Transform (FIDT) map for crowd localization and counting. Compared with the density maps, the FIDT maps accurately describe the people's location, without overlap between nearby heads in dense regions. We simultaneously implement crowd localization and counting by regressing the FIDT map. Extensive experiments demonstrate that the proposed method outperforms state-of-the-art localization-based methods in crowd localization tasks, achieving very competitive performance compared with the regression-based methods in counting tasks. In addition, the proposed method presents strong robustness for the negative samples and extremely dense scenes, which further verifies the effectiveness of the FIDT map. The code and models are available at this https URL.

研究の動機と目的

• 従来の回帰ベースの集団カウント手法が、ぼやけた重複のある密度マップのため、個々の人物の正確な局所化が困難であるという制限を解消すること。
• 従来の密度マップが正確に人物を局所化できないほど、人物同士が著しく重複する混雑した集団領域における課題を克服すること。
• 極度に混雑した状況でも空間的重複のない正確な頭部位置を保持する新しいマップ表現を開発すること。
• 深層学習を用いて提案されたFIDTマップをエンドツーエンド回帰することで、同時に高精度な集団カウントと局所化を実現すること。
• ネガティブサンプルや極めて密集した集団シナリオにおいて、FIDTマップのロバスト性を実証し、一般化能力を検証すること。

提案手法

• 各人物の頭部位置を中心に焦点を当てるFIDTマップを提案し、点アノテーションを距離ベースの表現に変換する。
• 逆距離変換（IDT）を用いて、各画素から最も近い人物の点までの距離を計算し、ピークが頭部位置に対応する連続的なマップを生成する。
• 各人物の周囲に焦点を当てるメカニズムを適用し、ぼやけを低減させ、混雑領域における局所化精度を向上させる。
• CNNを用いてFIDTマップをエンドツーエンドで回帰し、1回の順伝播で集団の位置と数を同時に予測可能にする。
• FIDTマップが固有に持つピークの重複なしの性質を活かし、人々が密に密集している場合でも正確な局所化を可能にする。
• 予測されたFIDTマップと真値との差を最小化する損失関数を最適化し、正確な空間表現を促進する。

実験結果

リサーチクエスチョン

• RQ1 従来の密度マップと比較して、新しいマップ表現が混雑したシーンにおける集団局所化の精度を向上させることができるか？
• RQ2 FIDTマップは、近接する人物間の重複領域を効果的に排除し、高密度領域における明確な局所化を可能にするか？
• RQ3 FIDTマップのエンドツーエンド回帰により、競争力あるカウント性能を達成するとともに、著しく局所化精度を向上させることができるか？
• RQ4 従来の手法と比較して、FIDTマップはネガティブサンプルや極端に密集した集団密度に対してどれほどロバストか？
• RQ5 FIDTにおける焦点メカニズムは、混雑した集団シナリオにおいて局所化精度をどの程度向上させるか？

主な発見

• 提案されたFIDTマップは、集団局所化タスクで最先端の性能を達成し、既存の局所化ベース手法を上回る。
• 本手法は、最高の回帰ベース手法と同等のカウント精度を達成しており、標準ベンチマークにおいて強力な一般化能力を示している。
• FIDTマップはネガティブサンプルや極めて密集したシーンに対しても強いロバスト性を示しており、厳しい条件下でも信頼性があることを示している。
• FIDTマップに重複領域がないため、人々が密接に接近している場合でも、従来の密度マップとは異なり正確な局所化が可能である。
• FIDTにおける焦点メカニズムにより、中心ピークの強度が向上し、ぼやけが低減され、混雑領域における局所化精度が向上する。
• 本手法は多様な集団密度に有効であり、ベンチマークデータセット全体で一貫した性能向上が観察された。