[論文レビュー] Learning Spatial Awareness to Improve Crowd Counting

Zhi-Qi Cheng, Jun-Xiu Li+3 more|arXiv (Cornell University)|Sep 16, 2019

Video Surveillance and Tracking Methods参考文献 52被引用数 21

ひとこと要約

本稿では、最大画素超過（MEP）と呼ばれる微分可能で画素単位の損失を用いて空間認識を統合することで、集団数の推定を向上させる、新しい深層学習フレームワークSPARNetを提案する。弱い教師付きのマルチブランチアーキテクチャを用いて高差異度のサブ領域を生成することで、密度マップ推定が向上し、4つのベンチマークにおいて顕著な性能向上を達成し、最先端の手法を上回る。

ABSTRACT

The aim of crowd counting is to estimate the number of people in images by leveraging the annotation of center positions for pedestrians' heads. Promising progresses have been made with the prevalence of deep Convolutional Neural Networks. Existing methods widely employ the Euclidean distance (i.e., $L_2$ loss) to optimize the model, which, however, has two main drawbacks: (1) the loss has difficulty in learning the spatial awareness (i.e., the position of head) since it struggles to retain the high-frequency variation in the density map, and (2) the loss is highly sensitive to various noises in crowd counting, such as the zero-mean noise, head size changes, and occlusions. Although the Maximum Excess over SubArrays (MESA) loss has been previously proposed to address the above issues by finding the rectangular subregion whose predicted density map has the maximum difference from the ground truth, it cannot be solved by gradient descent, thus can hardly be integrated into the deep learning framework. In this paper, we present a novel architecture called SPatial Awareness Network (SPANet) to incorporate spatial context for crowd counting. The Maximum Excess over Pixels (MEP) loss is proposed to achieve this by finding the pixel-level subregion with high discrepancy to the ground truth. To this end, we devise a weakly supervised learning scheme to generate such region with a multi-branch architecture. The proposed framework can be integrated into existing deep crowd counting methods and is end-to-end trainable. Extensive experiments on four challenging benchmarks show that our method can significantly improve the performance of baselines. More remarkably, our approach outperforms the state-of-the-art methods on all benchmark datasets.

研究の動機と目的

• L2損失の制限を解決する。L2損失は高周波数の空間的変動を保持できず、ノイズ、隠蔽、頭部サイズの変動に対して感受性が強い。
• MESA損失の非微分性を克服する。MESA損失は空間認識の向上に有効であるが、従来は深層学習フレームワークへの統合が不可能であった。
• 追加のアノテーションを必要とせず、空間認識を向上させる微分可能でエンドツーエンドで訓練可能な手法を開発する。
• 予測値と真値の画素単位の差異に焦点を当てることで、特に高密度および隠蔽領域において、集団数の推定精度を向上させる。

提案手法

• 予測密度マップと真値密度マップの間で最大の差異を示す画素単位のサブ領域を特定する、最大画素超過（MEP）損失を提案する。
• 境界ボックスや密なアノテーションを必要とせず、ランクベースの教師付き信号を用いて差異マスク（高誤差領域を示す）を生成する弱い教師付き学習方式を設計する。
• サイズが増加するパッチを比較することで顕著な高差異度領域を検出するマルチブランチアーキテクチャを実装し、空間認識を模倣する。
• 既存のCNNベースの集団数推定モデル（例：MCNN、CSRNet、SANet）に、エンドツーエンドで訓練可能な形でMEP損失を統合する。
• トレーニング曲線の安定化と収束性の向上のため、指数移動平均（EMA）平滑化を採用する。
• 予測密度マップの空間解像度を向上させ、推定品質を改善するために、デコンボリューション層を用いる。

実験結果

リサーチクエスチョン

• RQ1 微分可能で画素単位の損失関数は、L2損失の制限を超えて、集団数推定における空間認識を向上させることができるか？
• RQ2 密なアノテーションを必要とせず、弱い教師付きのランク信号が意味のある高差異度領域を効果的に生成できるか？
• RQ3 既存のCNNアーキテクチャにMEP損失を統合することで、ベンチマークデータセット上で性能がどの程度向上するか？
• RQ4 L2ベースのベースラインと比較して、本手法は低密度領域の過剰推定と高密度領域の不足推定を軽減できるか？
• RQ5 非微分可能な損失（例：MESA）と比較して、勾配降下法で訓練可能なMEP損失が同等または優れた性能を達成できるか？

主な発見

• SPANetは、すべてのベースラインモデルとデータセットでPSNRとSSIMを顕著に向上させ、より高品質な密度マップ推定を示している。
• 低密度領域の過剰推定と高密度領域の不足推定が軽減され、テスト画像の96％でL2ベースのベースラインを上回る計数精度が達成された。
• ShanghaiTech Part Aデータセットでは、SPARNetが元のMCNNと比較してMAEを最大15％まで低減し、トレーニング全体を通して低い訓練損失と検証損失を維持した。
• デコンボリューション層による予測密度マップの解像度向上は、測定可能な性能向上をもたらし、出力マップが入力サイズと一致する場合に最も顕著な向上が見られた。
• マルチブランチアーキテクチャにおける最適なブランチ数は、MCNN/SANetではH/8、CSRNetではH/16であると、交差検証により特定された。
• 学習曲線から、SPANetがトレーニングの安定性を向上させ、すべての実験で訓練および検証セットの両方で一貫して低いMAEを示していることが分かった。