[論文レビュー] DENet: A Universal Network for Counting Crowd with Varying Densities and Scales

Lei Liu, Jie Jiang+4 more|arXiv (Cornell University)|Apr 17, 2019

Video Surveillance and Tracking Methods参考文献 24被引用数 6

ひとこと要約

DENetは、明確に分離された個体を検出するための検出ネットワーク（DNet）と、視認性が低いまたは高密度領域における密度マップ推定のためのエンコーダデコーダ推定ネットワーク（ENet）を組み合わせた、群衆計数のための新しい二本のブランチからなる深層学習フレームワークです。修正されたXceptionバックボーンとハイブリッド拡張/逆畳み込みデコーダを活用することで、ShanghaiTech Part A、UCF、WorldExpo'10で先行手法よりも低い平均絶対誤差（MAE）を達成し、最先端の性能を発揮しています。

ABSTRACT

Counting people or objects with significantly varying scales and densities has attracted much interest from the research community and yet it remains an open problem. In this paper, we propose a simple but an efficient and effective network, named DENet, which is composed of two components, i.e., a detection network (DNet) and an encoder-decoder estimation network (ENet). We first run DNet on an input image to detect and count individuals who can be segmented clearly. Then, ENet is utilized to estimate the density maps of the remaining areas, where the numbers of individuals cannot be detected. We propose a modified Xception as an encoder for feature extraction and a combination of dilated convolution and transposed convolution as a decoder. In the ShanghaiTech Part A, UCF and WorldExpo'10 datasets, our DENet achieves lower Mean Absolute Error (MAE) than those of the state-of-the-art methods.

研究の動機と目的

• 極めて多様な密度とスケールを示すシーンにおける群衆計数の課題に対処すること。
• 隠蔽や小サイズのため検出が難しい個体の計数精度を向上させること。
• 多様な群衆シナリオにわたる頑健な性能を実現するため、インスタンスレベルの検出と密度レベルの推定を統合した統一フレームワークを構築すること。
• 既存の最先端手法と比較して、群衆計数ベンチマークにおける平均絶対誤差（MAE）を低減すること。

提案手法

• DENetは二重ブランチアーキテクチャを採用：明確に分離された個体を特定・計数するための検出ネットワーク（DNet）。
• ENetのエンコーダとして、効果的なマルチスケール特徴抽出が可能な修正されたXceptionネットワークが使用されている。
• ENetのデコーダは、拡張畳み込みと逆畳み込みを組み合わせて、高解像度の密度マップを再構築する。
• DNetの検出結果が、検出が困難な領域に注目するENetの推定プロセスをガイドする。
• 検出と密度推定の目的をバランスさせる統合損失関数を用いて、エンドツーエンドでモデルを訓練する。
• エンコーダからの特徴マップはデコーダを経由してアップサンプリングされ、空間的詳細が保持され、正確な密度予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統一された深層学習フレームワークは、著しく異なる密度とスケールの状況において、群衆計数を効果的に処理できるか？
• RQ2 検出と密度推定を同時に最適化することで、挑戦的な状況下での計数精度をどのように向上させられるか？
• RQ3 インスタンスレベルの検出と密度マップ回帰を統合することで、ベンチマークデータセットにおけるMAEはどの程度低減されるか？
• RQ4 デコーダで拡張畳み込みと逆畳み込みを用いることで、小サイズまたは隠蔽された個体の特徴再構築がどのように向上するか？
• RQ5 修正されたXceptionバックボーンは、極端な変動下における群衆計数のための特徴表現をどのように向上させるか？

主な発見

• DENetは、すべての最先端手法と比較して、ShanghaiTech Part Aデータセットで最も低い平均絶対誤差（MAE）を達成した。
• UCF-QNRFデータセットでは、先行するSOTAモデルと比較して優れた性能を示し、より低いMAEを達成した。
• 低密度、中密度、高密度の環境を含む多様な群衆シナリオにおいて、優れた一般化性能を示した。
• DNetとENetの統合により、小サイズまたは隠蔽された個体の検出が向上し、不足計数エラーが低減された。
• デコーダにおける拡張畳み込みと逆畳み込みの使用は、推定された密度マップの品質を顕著に向上させた。
• 修正されたXceptionバックボーンは、特に高密度領域において、より良い特徴表現に寄与した。