[論文レビュー] JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method

Vishwanath A. Sindagi, Rajeev Yasarla+1 more|arXiv (Cornell University)|Apr 7, 2020

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本稿では、雨、雪、霞、および干渉要因を含む困難な状況を含む、4,372枚の画像と151万件のアノテーションを有する大規模かつ多様な集団カウントデータセットであるJHU-CROWD++を紹介する。また、不確実性に基づく信頼度重み付けを用いた段階的残差学習を採用する、信頼度誘導型深層残差カウントネットワーク（CG-DRCN）を提案し、ShanghaiTechおよびUCF-QNRFベンチマークで、それぞれMAE 60.2および95.5の最先端性能を達成した。

ABSTRACT

Due to its variety of applications in the real-world, the task of single image-based crowd counting has received a lot of interest in the recent years. Recently, several approaches have been proposed to address various problems encountered in crowd counting. These approaches are essentially based on convolutional neural networks that require large amounts of data to train the network parameters. Considering this, we introduce a new large scale unconstrained crowd counting dataset (JHU-CROWD++) that contains "4,372" images with "1.51 million" annotations. In comparison to existing datasets, the proposed dataset is collected under a variety of diverse scenarios and environmental conditions. Specifically, the dataset includes several images with weather-based degradations and illumination variations, making it a very challenging dataset. Additionally, the dataset consists of a rich set of annotations at both image-level and head-level. Several recent methods are evaluated and compared on this dataset. The dataset can be downloaded from http://www.crowd-counting.com . Furthermore, we propose a novel crowd counting network that progressively generates crowd density maps via residual error estimation. The proposed method uses VGG16 as the backbone network and employs density map generated by the final layer as a coarse prediction to refine and generate finer density maps in a progressive fashion using residual learning. Additionally, the residual learning is guided by an uncertainty-based confidence weighting mechanism that permits the flow of only high-confidence residuals in the refinement path. The proposed Confidence Guided Deep Residual Counting Network (CG-DRCN) is evaluated on recent complex datasets, and it achieves significant improvements in errors.

研究の動機と目的

• 既存の集団カウントデータセットの限界、例えば多様性の不足、バイアス、環境劣化アノテーションの欠如を是正すること。
• 悪天候および複雑な背景条件下でも良好に一般化する強力な集団カウントモデルの開発。
• 残差学習を用いた密度マップの段階的精錬によって、カウント精度の向上。
• 画像レベルのアノテーション（例：天候、ぼやけ、隠蔽）を学習プロセスに統合し、モデルの耐障害性を向上。
• 豊富なアノテーションを備えた大規模かつ制約のないデータセットを用いて、集団カウントの新ベンチマークを確立すること。

提案手法

• VGG16をバックボーンとして用い、粗い密度マップを生成する、新規の信頼度誘導型深層残差カウントネットワーク（CG-DRCN）を提案。
• 各段階で前段の密度マップを残差学習を用いて精錬する段階的精錬戦略を採用。
• 低信頼度の残差をフィルタリングし、高信頼度の残差のみを伝搬する不確実性に基づく信頼度重み付けモジュールを導入。
• 画像レベルのラベル（例：天候、ぼやけ、隠蔽）を用いたクラス条件付き学習により、特徴学習を誘導し、耐障害性を向上。
• JHU-CROWD++データセット上で、マルチスケール監視を用いた標準損失関数を用いて、エンドツーエンドでネットワークを訓練。
• 二本のブランチアーキテクチャを採用：一方は初期密度予測用、もう一方は信頼度ゲーティングを備えた残差精錬用。

Figure 2: Examples of head-level annotations: (a) Dots (b) Approximate sizes (c) Blur-level.

実験結果

リサーチクエスチョン

• RQ1 環境劣化と豊富なアノテーションを備えた大規模かつ多様な集団カウントデータセットは、モデルの一般化性能をどのように向上させるか？
• RQ2 信頼度重み付けを伴う段階的残差学習は、密度マップの精錬を向上させ、カウント誤差を低減できるか？
• RQ3 画像レベルのアノテーション（例：天候、隠蔽）を用いることで、悪天候下でのモデル性能はどの程度向上するか？
• RQ4 提案されたCG-DRCNは、ShanghaiTechやUCF-QNRFといったベンチマークデータセットで、最先端手法と比較してどのように差をつけるか？
• RQ5 不確実性に基づく残差選択の影響は、モデルの安定性と正確性にどのような影響を与えるか？

主な発見

• ResNet-101バックボーンを用いた提案CG-DRCNは、ShanghaiTech Part Aベンチマークで平均絶対誤差（MAE）60.2を達成し、表XIIに記載されたすべての先行手法を上回った。
• UCF-QNRFデータセットでは、CG-DRCN-Res101モデルがMAE 95.5を達成し、最近の多数の手法を上回り、最先端性能に近づいた。
• 不確実性に基づく信頼度重み付け機構は、低信頼度の残差を効果的にフィルタリングし、精錬プロセスの安定性と正確性を向上させた。
• 画像レベルのアノテーション（例：天候、隠蔽）の統合により、特に雨天、雪天、霞の状況下での性能が顕著に向上した。
• JHU-CROWD++データセットは、4,372枚の画像と151万件の頭部アノテーションを有し、実環境下での深刻な天候や複雑な背景を再現しており、優れた多様性と現実性を示した。
• アブレーションスタディにより、残差精錬および信頼度重み付けの両コンponentが最終的な性能向上に顕著な寄与をしていることが確認された。

Figure 3: Summary of keywords used to scrape the internet for images.