[論文レビュー] CNN-based Density Estimation and Crowd Counting: A Survey

Guangshuai Gao, Junyu Gao+3 more|arXiv (Cornell University)|Mar 28, 2020

Video Surveillance and Tracking Methods参考文献 219被引用数 141

ひとこと要約

この論文はCNNベースの密度推定および群衆カウントモデルを調査・分析し、アーキテクチャ、学習パラダイム、評価データセットを検討し、密度マップ、テスト結果、および今後の研究を導くための未解決課題を提供します。

ABSTRACT

Accurately estimating the number of objects in a single image is a challenging yet meaningful task and has been applied in many applications such as urban planning and public safety. In the various object counting tasks, crowd counting is particularly prominent due to its specific significance to social security and development. Fortunately, the development of the techniques for crowd counting can be generalized to other related fields such as vehicle counting and environment survey, if without taking their characteristics into account. Therefore, many researchers are devoting to crowd counting, and many excellent works of literature and works have spurted out. In these works, they are must be helpful for the development of crowd counting. However, the question we should consider is why they are effective for this task. Limited by the cost of time and energy, we cannot analyze all the algorithms. In this paper, we have surveyed over 220 works to comprehensively and systematically study the crowd counting models, mainly CNN-based density map estimation methods. Finally, according to the evaluation metrics, we select the top three performers on their crowd counting datasets and analyze their merits and drawbacks. Through our analysis, we expect to make reasonable inference and prediction for the future development of crowd counting, and meanwhile, it can also provide feasible solutions for the problem of object counting in other fields. We provide the density maps and prediction results of some mainstream algorithm in the validation set of NWPU dataset for comparison and testing. Meanwhile, density map generation and evaluation tools are also provided. All the codes and evaluation results are made publicly available at https://github.com/gaoguangshuai/survey-for-crowd-counting.

研究の動機と目的

• CNNベースの密度推定および群衆カウントモデルの包括的レビューを提供する。
• ネットワークアーキテクチャ、監督形式、学習パラダイム、およびクロスドメイン一般化で手法を分類する。
• 性能に影響を与える要因を分析し、トップパフォーマンスのアプローチとその利点/欠点を特定する。
• 将来の研究を導くためにデータセット、評価指標、およびベンチマーク結果を提示する。
• データセット、モデル、および他ドメインへの一般化に関する未解決の問題と今後の方向性を提供する。）

提案手法

• CNNベースの群衆カウントモデルを、基本的、マルチカラム、およびシングルカラムのアーキテクチャに分類して調査する。
• 単一タスクとマルチタスクフレームワークを含む学習パラダイムを検討する。
• パッチベースと全画像ベースの推論手法について検討する。
• インスタンスレベルから弱教師あり、マルチタスク設定までの監督形式を検討する。
• 密度マップ生成および評価ツールを提供し、コードと結果を公開して共有する。
• 標準データセット上で代表的モデルをベンチマークし、それらの長所と制約を分析する。

実験結果

リサーチクエスチョン

• RQ1 代表的なCNNベースの群衆カウントおよび密度推定のネットワークアーキテクチャは何か？
• RQ2 学習パラダイムと監督形式は、性能と一般化にどのように影響するか？
• RQ3 CNNベースの群衆カウントにおける進歩を最もよく捉えるデータセットと評価指標は何で、どのモデルがベンチマークを上回るか？
• RQ4 どのような未解決課題が残っており、今後の研究に最も有望な方向はどれか？

主な発見

• この調査はCNNベースの密度推定・群衆カウントモデルを体系的にレビューし、分類と分析を提供する。
• 代表的なデータセット上でトップパフォーマンスの手法を特定し、その利点と欠点を分析する。
• 主流アルゴリズムの密度マップと予測結果をNWPU検証セットで提供して比較する。
• 著者らは密度マップ生成と評価ツールを提供し、再現性のためにコードと結果を公開する。
• モデル設計、データセット収集、ドメイン適応における未解決課題と将来の方向性を論じる。
• 本論文は基本的なCNNからマルチカラムおよびシングルカラムアーキテクチャへの進化を、学習パラダイムと監督レベルとともに位置づける。