[論文レビュー] NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting.

Qi Wang, Junyu Gao+2 more|arXiv (Cornell University)|Jan 10, 2020

Video Surveillance and Tracking Methods参考文献 30被引用数 30

ひとこと要約

本論文は、5,109枚の画像と213万個のアノテート済み頭部を備えた大規模なベンチマーク、NWPU-Crowdを紹介する。このデータセットは、極端な密度変動（0–20,033）と多様な照明条件を特徴とし、CNNベースの手法の厳密な評価を可能にする公開ベンチマークウェブサイトを通じて、集団カウント分野の最先端技術を著しく前進させる。

ABSTRACT

In the last decade, crowd counting and localization attract much attention of researchers due to its wide-spread applications, including crowd monitoring, public safety, space design, etc. Many Convolutional Neural Networks (CNN) are designed for tackling this task. However, currently released datasets are so small-scale that they can not meet the needs of the supervised CNN-based algorithms. To remedy this problem, we construct a large-scale congested crowd counting and localization dataset, NWPU-Crowd, consisting of 5,109 images, in a total of 2,133,375 annotated heads with points and boxes. Compared with other real-world datasets, it contains various illumination scenes and has the largest density range (0~20,033). Besides, a benchmark website is developed for impartially evaluating the different methods, which allows researchers to submit the results of the test set. Based on the proposed dataset, we further describe the data characteristics, evaluate the performance of some mainstream state-of-the-art (SOTA) methods, and analyze the new problems that arise on the new data. What's more, the benchmark is deployed at \url{this https URL}, and the dataset/code/models/results are available at \url{this https URL}.

研究の動機と目的

• 既存の集団カウントデータセットが、深層CNNベースの手法の学習と評価を支えるには規模が小さすぎるという制限に対処するため。
• 極端な密度変動と多様な照明条件を備えた大規模で多様性に富み、現実的であるデータセットを提供するため。
• 標準化されたテストセット上で集団カウント手法の公平な評価を実現するための公開ベンチマークウェブサイトを構築するため。
• 提案されたデータセットを用いて、高密度で複雑なシーンにおける新たな課題を分析するため。
• 共有されたデータ、コード、結果を通じて、最先端の集団カウントモデルの開発と比較を促進するため。

提案手法

• 実世界の5,109枚の画像を含む大規模な集団カウントデータセット、NWPU-Crowdの構築。個々の頭部に対して点アノテーションとボックスアノテーションを実施。
• 極度の混雑状態や照明条件の変化がある多様なシーンにおいて、合計2,133,375個の頭部をアノテート。
• テストセットをホスティングし、提出された手法の標準的で公平な評価を可能にするためのベンチマークウェブサイトの設計。
• 既存のモデルが直面する課題を強化するため、報告された中で最大の密度範囲（0から20,033）のデータ収集。
• 新規データセット上で複数の最先端（SOTA）集団カウントモデルを評価し、性能のギャップや新たな失敗モードを同定。
• データセット、コード、モデル、結果を公開URLにデプロイし、オープンアクセスと再現可能性を実現。

実験結果

リサーチクエスチョン

• RQ1 NWPU-Crowdのような大規模で高密度かつ多様な実世界データセット上で、既存の最先端集団カウントモデルはどのように性能を発揮するか？
• RQ2 現在のモデルが十分にカバーしていない、極端な密度と複雑な照明条件で生じる新たな課題は何か？
• RQ3 提案されたベンチマークは、集団カウント手法の公平で再現可能な評価をどのように可能にするか？
• RQ4 スケール、多様性、密度範囲の観点から、NWPU-Crowdのキーデータ特徴は既存のデータセットとどのように異なるか？
• RQ5 点アノテーションとボックスアノテーションの両方を含めることで、集団カウントモデルの評価と局在化能力はどのように向上するか？

主な発見

• NWPU-Crowdデータセットには、5,109枚の画像と2,133,375個のアノテート済み頭部が含まれており、これまでにない最大規模かつ最も多様性に富んだ集団カウントデータセットである。
• 0から20,033に及ぶ前例のない密度範囲をカバーしており、より小さい・密度が低いデータで学習された現在のモデルの限界を露呈している。
• ベンチマーク上での評価により、いくつかのSOTAモデルが高密度および低照度状況で顕著な性能低下を示しており、新たな失敗モードが明らかになった。
• ベンチマークウェブサイトにより、標準的かつ公平な評価が可能となり、再現性の向上と手法間の公平な比較が促進された。
• データセットとベンチマークにより、重度の隠蔽や極端な密度変動といった、集団カウント分野における新たな課題の発見が可能になった。
• 公開URLでのコード、モデル、結果の提供により、透明性が向上し、分野全体の研究進展が加速した。