[論文レビュー] Attention to Head Locations for Crowd Counting

Youmei Zhang, Chunluan Zhou+2 more|arXiv (Cornell University)|Jun 27, 2018

Video Surveillance and Tracking Methods参考文献 26被引用数 16

ひとこと要約

本稿では、学習可能な確率マップを用いて背景領域や非頭部領域を抑制することで、頭部の位置に明示的に注目する注目メカニズムを統合したCNN（AM-CNN）を提案する。多スケール特徴抽出と相対的偏差損失を統合したことで、遮蔽、スケール変動、非一様な分布に対してより頑健な性能を発揮し、ShanghaiTech、UCF CC 50、WorldExpo’10の各データセットで最先端の性能を達成し、MAEとMSEが低く抑えられている。

ABSTRACT

Occlusions, complex backgrounds, scale variations and non-uniform distributions present great challenges for crowd counting in practical applications. In this paper, we propose a novel method using an attention model to exploit head locations which are the most important cue for crowd counting. The attention model estimates a probability map in which high probabilities indicate locations where heads are likely to be present. The estimated probability map is used to suppress non-head regions in feature maps from several multi-scale feature extraction branches of a convolution neural network for crowd density estimation, which makes our method robust to complex backgrounds, scale variations and non-uniform distributions. In addition, we introduce a relative deviation loss to compensate a commonly used training loss, Euclidean distance, to improve the accuracy of sparse crowd density estimation. Experiments on Shanghai-Tech, UCF_CC_50 and World-Expo'10 data sets demonstrate the effectiveness of our method.

研究の動機と目的

• 集団カウントに最も有用な情報源である頭部位置に明示的に注目しない既存のCNNベースの集団カウント手法の限界を解消する。
• 注目メカニズムによる非頭部領域のフィルタリングにより、複雑な背景、スケール変動、非一様な集団分布に対する頑健性を向上させる。
• 標準的な訓練損失が密集した集団例に支配されるため、しばしば軽視されがちな疎な集団カウントの性能を向上させる。
• 疎集団と密集集団の両状況における訓練信号のバランスを取るために、相対的偏差損失を導入し、一般化性能を向上させる。

提案手法

• 多カラムCNN（MCNN）に注目モデルを統合し、頭部の出現確率を示す空間的確率マップを生成する。
• 注目マップを用いて、多スケール特徴抽出ブランチ全体で非頭部領域の特徴を抑制し、ネットワークの注目を頭部位置に集中させる。
• 標準的なオイラー距離損失に加え、疎集団例の重みを強調するための相対的偏差損失を組み合わせる。
• 両損失を用いてAM-CNNをエンドツーエンドで訓練し、特に低密度シーンにおける密度マップ推定を改善する。
• 多スケールブランチを活用してスケール変動に対応させつつ、注目メカニズムがさまざまなサイズの頭部の局所化を強化する。
• 注目マップを空間マスクとして適用し、密度マップ回帰の前に特徴表現を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 頭部位置に注目する注目メカニズムが、複雑なシーンにおける集団カウント性能を向上させるか？
• RQ2 注目に基づく特徴の抑制は、背景のごみや非一様な集団分布に対する頑健性にどのように影響するか？
• RQ3 標準的なオイラー距離損失と比較して、相対的偏差損失を導入することで、疎集団密度推定の精度はどの程度向上するか？
• RQ4 提案手法は、集団密度や環境条件が異なる多様なデータセットに一般化可能か？

主な発見

• ShanghaiTech Part Aデータセットにおいて、AM-CNNはMAE（17.2）とMSE（36.8）を達成し、以前の最先端手法を上回った。
• UCF CC 50データセットでは、AM-CNNはMAE 279.5、MSE 377.8を達成し、CP-CNN（MAE: 295.8）や他のベースラインを顕著に上回った。
• 疎集団（密度 < 3000）においても、AM-CNNはCP-CNNを一貫して上回り、低密度状況での優れた性能を示した。
• 注目モデルは確率マップ上で頭部領域を明確に強調しており、頭部に高いスコアが集中し、背景や体の一部には低スコアが割り当てられていた。
• 密集した集団では、注目モデルは個々の頭部ではなく、一般的な集団領域に注目しており、人間の視覚的注意と整合的であった。
• 相対的偏差損失は疎集団予測の精度を効果的に向上させたことが、UCF CC 50およびWorldExpo’10の低密度画像範囲における優れた性能から裏付けられた。