[論文レビュー] Multi-Scale Attention Network for Crowd Counting

Rahul Rama Varior, Bing Shuai+2 more|arXiv (Cornell University)|Jan 17, 2019

Video Surveillance and Tracking Methods参考文献 38被引用数 16

ひとこと要約

本論文は、CNNの複数の層からの特徴を用いて密度マップを生成するマルチスケールアテンションネットワークを提案し、集団計数におけるスケール変動に対処する。スケールに適応する損失関数とソフトアテンションメカニズムを導入することで、UCF-QNRFで25%の誤差低減を達成し、最先端の性能を実現する。

ABSTRACT

In crowd counting datasets, people appear at different scales, depending on their distance from the camera. To address this issue, we propose a novel multi-branch scale-aware attention network that exploits the hierarchical structure of convolutional neural networks and generates, in a single forward pass, multi-scale density predictions from different layers of the architecture. To aggregate these maps into our final prediction, we present a new soft attention mechanism that learns a set of gating masks. Furthermore, we introduce a scale-aware loss function to regularize the training of different branches and guide them to specialize on a particular scale. As this new training requires annotations for the size of each head, we also propose a simple, yet effective technique to estimate them automatically. Finally, we present an ablation study on each of these components and compare our approach against the literature on 4 crowd counting datasets: UCF-QNRF, ShanghaiTech A & B and UCF_CC_50. Our approach achieves state-of-the-art on all them with a remarkable improvement on UCF-QNRF (+25% reduction in error).

研究の動機と目的

• カメラからの距離に応じて、人物が著しく異なるサイズに見えるスケール変動を扱う。
• 重度の被覆と透視歪みを伴う高密度な集団状況での精度を向上させる。
• アノテート済みの頭部サイズデータを必要とせずに、自動的に頭部サイズを推定する手法を開発する。
• 異なる層からの階層的特徴を活用するマルチブランチネットワークを設計し、スケールに特化した予測を実現する。
• 4つの主要な集団計数ベンチマークで最先端の性能を達成する。

提案手法

• CNNの中間層および最終層からの特徴を用いて密度マップを生成するマルチブランチアーキテクチャを提案し、受容 field の階層的拡大を活用する。
• 予測された頭部サイズに基づいて、マルチスケール密度マップを動的に結合するゲーティングマスクを学習するソフトアテンションメカニズムを導入する。
• 各ブランチが特定の頭部サイズ範囲に特化するように正則化するスケールに適応する損失関数を設計し、一般化性能を向上させる。
• 幾何学的適応およびバウンディングボックス適応手法を組み合わせた自動頭部サイズ推定技術を開発し、擬似サイズアノテーションを生成する。
• 特にUCF-QNRFにおいて極めて大きな画像を扱うために、画像解像度正則化を用いる。
• 中間出力および最終出力のマルチスーパービジョンを用いて、エンドツーエンドでモデルを訓練し、特徴学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 異なるネットワーク層からのマルチスケール密度予測が、顕著なスケール変動下でも集団計数の精度を向上させることができるか？
• RQ2 学習可能なソフトアテンションメカニズムによるマルチスケール予測の融合が、固定または重み付き融合戦略を上回るか？
• RQ3 スケールに適応する損失関数が、各ネットワークブランチを特定の頭部サイズ範囲に特化させるのに効果的か？
• RQ4 真のサイズアノテーションが存在しない状況で、提案された自動頭部サイズ推定技術の有効性はどの程度か？
• RQ5 UCF-QNRFのような大規模データセットで事前学習を実施することで、複数のベンチマークで性能がどの程度向上するか？

主な発見

• 提案手法は、UCF-QNRF、ShanghaiTech A & B、UCF_CC_50の4つのベンチマークすべてで最先端の性能を達成した。
• UCF-QNRFでは、先行研究の最先端手法と比較して平均絶対誤差（MAE）を25%以上低減し、完全な訓練で97.5 MAEを達成した。
• アブレーションスタディにより、スケールに適応する損失関数とアテンションメカニズムを追加することで性能が顕著に向上し、MAEが109.7から97.5に低下した。
• UCF-QNRFで事前学習を実施することで、全データセットで5–10%の性能向上が得られ、大規模事前学習の利点を示した。
• 定性的な結果では、特に高密度領域において、ベースラインと比較してシャープでより正確に局所化された密度マップが得られた。
• 各ネットワーク層が明確に異なるスケール範囲に特化しており、初期層は小さな頭部に、深層の層は大きな頭部に注目していることが、アブレーションにより検証された。