[論文レビュー] Scale-Aware Attention Network for Crowd Counting

Rahul Rama Varior, Bing Shuai+2 more|arXiv (Cornell University)|Jan 17, 2019

Video Surveillance and Tracking Methods参考文献 29被引用数 20

ひとこと要約

本論文は、1回の順方向伝搬で畳み込みニューラルネットワーク（CNN）の異なる層からマルチスケール密度予測を生成するスケールに敏感なアテンションネットワークを提案する。この手法は、学習可能なソフトアテンションメカニズムとスケールに敏感な損失関数を用いて、集団計数の性能を向上させる。最先端の性能を達成しており、UCF-QNRFでは相対的に25%の向上、他のデータセットでは約10%の向上を示す。追加の装飾的要素がなくても同様の結果を達成している。

ABSTRACT

In crowd counting datasets, people appear at different scales, depending on their distance to the camera. To address this issue, we propose a novel multi-branch scale-aware attention network that exploits the hierarchical structure of convolutional neural networks and generates, in a single forward pass, multi-scale density predictions from different layers of the architecture. To aggregate these maps into our final prediction, we present a new soft attention mechanism that learns a set of gating masks. Furthermore, we introduce a scale-aware loss function to regularize the training of different branches and guide them to specialize on a particular scale. As this new training requires ground-truth annotations for the size of each head, we also propose a simple, yet effective technique to estimate it automatically. Finally, we present an ablation study on each of these components and compare our approach against the literature on 4 crowd counting datasets: UCF-QNRF, ShanghaiTech A & B and UCF_CC_50. Without bells and whistles, our approach achieves state-of-the-art on all these datasets. We observe a remarkable improvement on the UCF-QNRF (25%) and a significant one on the others (around 10%).

研究の動機と目的

• カメラからの距離の違いに起因する人物のスケール変動に起因する集団計数の課題に対処する。
• 人物が著しく異なるスケールで現れる密な集団状況での精度を向上させる。
• 階層的な特徴を複数のネットワーク層から活用して、スケールに敏感な予測を実現する手法を開発する。
• マルチスケール予測を動的に重み付けするための学習可能なアテンションメカニズムを導入する。
• 各ネットワークブランチが特定のスケール範囲に特化するようガイドするためのスケールに敏感な損失関数を設計する。

提案手法

• 異なるスケール範囲に敏感なCNNの複数の層から密度マップを抽出するマルチブランチアーキテクチャを提案する。
• マルチスケール密度マップを最終予測に適応的に統合するゲーティングマスクを学習するソフトアテンションメカニズムを導入する。
• 各ブランチが特定のスケールに特化するよう、スケール固有の監視を用いて正則化するスケールに敏感な損失関数を設計する。
• 実際のスケールラベルが入手できない場合に、疑似スケールアノテーションを生成する自動的なヘッドサイズ推定技術を開発する。
• すべてのマルチスケール予測とアテンションベースの統合を1回の順方向伝搬で実現し、推論効率を確保する。
• バックボーンネットワークの複数の段階からの特徴マップを用いて、細粒度および粗いスケールの集団パターンを捉える。

実験結果

リサーチクエスチョン

• RQ1 階層的特徴を用いて、1つの深層ニューラルネットワークが複数のスケールで集団密度を効果的に予測できるか？
• RQ2 追加の監視が不要な状態で、マルチスケール密度マップを最適に統合するアテンションメカニズムはどのように設計できるか？
• RQ3 スケールに敏感な損失関数は、個々のブランチが特定のスケール範囲に特化するのをどの程度向上させるか？
• RQ4 提案された自動ヘッドサイズ推定技術は、手動のスケールアノテーションが不要な状態で、スケールに敏感な学習をどの程度効果的に可能にするか？
• RQ5 アテンションとスケールに敏感な損失の統合は、多様な集団計数ベンチマークで一貫した性能向上をもたらすか？

主な発見

• 提案手法は、UCF-QNRF、ShanghaiTech A & B、UCF_CC_50という4つのベンチマークデータセットすべてで最先端の性能を達成した。
• UCF-QNRFでは、先行手法よりも相対的に25%の向上を達成し、極度に密集した状況での顕著な向上を示した。
• ShanghaiTech AおよびB、UCF_CC_50では、過去の最先端手法よりも約10%の顕著な向上を達成した。
• アブレーションスタディの結果、スケールに敏感な損失関数とソフトアテンションメカニズムの両方が性能向上に不可欠であることが確認された。
• 自動ヘッドサイズ推定技術により、手動のスケールアノテーションが不要な状態でも、効果的なスケール監視が可能になった。
• 本手法は1回の順方向伝搬でこれらの結果を達成しており、マルチスケール処理を伴うにもかかわらず、高い推論効率を維持している。