[論文レビュー] Deep Density-aware Count Regressor

Zhuojun Chen, Junhao Cheng+4 more|arXiv (Cornell University)|Aug 9, 2019

Video Surveillance and Tracking Methods参考文献 35被引用数 10

ひとこと要約

本論文では、密度マップのマルチレベルピクセル化を活用して信号対雑音比（SNR）を向上させ、予測誤差を低減することで、集団数の推定精度を向上させる深層密度に敏感なカウント回帰モデルを提案する。トレーニング中にマルチレイヤー勾配統合を導入し、バックボーンネットワークが複数のブランチから学習する一方、推論時には分離されたブランチを用いることで、公開ベンチマークにおいて最先端の精度と効率性を達成している。

ABSTRACT

We seek to improve crowd counting as we perceive limits of currently prevalent density map estimation approach on both prediction accuracy and time efficiency. We leverage multilevel pixelation of density map as it helps improve SNR of training data and therefore, reduce prediction error. To achieve a better model, we introduce multilayer gradient fusion for training a density-aware global count regressor. More specifically, on training stage, a backbone network receives gradients from multiple branches to learn the density information, whereas those branches are to be detached to accelerate inference. By taking advantages of such method, our model improves benchmark results on public datasets and exhibits itself to be a new solution to crowd counting problems in practice.

研究の動機と目的

• 既存の密度マップ推定手法が抱える、特に予測精度と推論効率に関する制限を解消すること。
• 密度マップのマルチレベルピクセル化を用いることで、トレーニングデータの信号対雑音比（SNR）を向上させること。
• マルチスケールの監視を活用して密度情報を効果的に捉えるグローバルカウント回帰モデルを開発すること。
• トレーニング後に補助ブランチを分離することで、推論を高速化し、性能を維持すること。
• 公開の集団数ベンチマークで最先端の結果を達成すること。

提案手法

• 密度マップのマルチレベルピクセル化を用いて、トレーニングデータのSNRを向上させ、予測誤差を低減する。
• バックボーンネットワークは、それぞれが異なるピクセル化レベルに対応する複数のブランチからの勾配を学習する。
• マルチレイヤー勾配統合により、トレーニング中に階層的な密度表現を学習できる。
• 推論時には補助ブランチが分離され、高速かつ効率的なカウント予測が可能になる。
• モデルは密度マップの予測ではなく、直接的に集団の総数を回帰するように設計されている。
• グローバルカウントにおけるカウント損失を用いてエンドツーエンドで学習する一方で、より良い特徴学習のためのマルチスケール監視を活用する。

実験結果

リサーチクエスチョン

• RQ1 密度マップのマルチレベルピクセル化は、集団数推定におけるトレーニングデータの信号対雑音比（SNR）を向上させることができるか？
• RQ2 マルチレイヤー勾配統合は、グローバルカウント回帰モデルにおける密度に敏感な特徴の学習をどのように向上させるか？
• RQ3 マルチブランチ監視で学習したモデルは、高い精度を維持しながらも高速な推論を達成できるか？
• RQ4 提案手法は、既存の密度マップ推定アプローチと比較して、精度と効率性の両面で優れているか？
• RQ5 分離された推論ブランチを用いることで、性能を維持しつつどれほど推論速度が向上するか？

主な発見

• 提案手法は、公開の集団数ベンチマークで最先端の性能を達成し、既存の密度マップ推定手法と比較して予測精度が向上している。
• マルチレベルピクセル化は、トレーニングデータのSNRを顕著に向上させ、結果として予測誤差が低減した。
• マルチレイヤー勾配統合の活用により、複数スケールからの情報を統合して、より豊かな密度表現を学習できるようになった。
• トレーニング後に補助ブランチを分離することで、性能を損なわず、推論速度が著しく向上した。
• ベンチマークデータセットにおける多様な集団密度状況において、優れた一般化性能とロバストネスを示した。
• UCSD、ShanghaiTech、UCF-QNRFといった標準ベンチマークにおいて、先行手法と比較して同等または優れた結果を達成した。