[論文レビュー] PDANet: Pyramid Density-aware Attention Net for Accurate Crowd Counting

Saeed Amirgholipour, Xiangjian He+3 more|arXiv (Cornell University)|Jan 16, 2020

Video Surveillance and Tracking Methods参考文献 51被引用数 8

ひとこと要約

PDANet は、マルチスケール特徴量、空間的およびチャネル注意力、密度に敏感なデコーダーを活用して、正確な人混みカウントを実現するピラミッド密度に敏感なアテンションネットワークを提案する。入力シーンの密度に応じて、高密度または低密度のブランチを動的に選択するデコーダーを備える。UCF-Crowd50 において MAE を 35% 以上低減し、ShanghaiTech、WorldExpo10、UCSD といった複数のベンチマークでも既存手法を上回る最先端の性能を達成した。

ABSTRACT

Crowd counting, i.e., estimating the number of people in a crowded area, has attracted much interest in the research community. Although many attempts have been reported, crowd counting remains an open real-world problem due to the vast scale variations in crowd density within the interested area, and severe occlusion among the crowd. In this paper, we propose a novel Pyramid Density-Aware Attention-based network, abbreviated as PDANet, that leverages the attention, pyramid scale feature and two branch decoder modules for density-aware crowd counting. The PDANet utilizes these modules to extract different scale features, focus on the relevant information, and suppress the misleading ones. We also address the variation of crowdedness levels among different images with an exclusive Density-Aware Decoder (DAD). For this purpose, a classifier evaluates the density level of the input features and then passes them to the corresponding high and low crowded DAD modules. Finally, we generate an overall density map by considering the summation of low and high crowded density maps as spatial attention. Meanwhile, we employ two losses to create a precise density map for the input scene. Extensive evaluations conducted on the challenging benchmark datasets well demonstrate the superior performance of the proposed PDANet in terms of the accuracy of counting and generated density maps over the well-known state of the arts.

研究の動機と目的

• 画像全体で一様な混雑度を仮定する既存手法とは対照的に、人混みカウントにおける極端な密度変動の課題に対処すること。
• 局所的な混雑度レベルに応じてネットワークの挙動を適応させることで、スパarsな人混みと密集した人混みの両方の状況で精度を向上させること。
• パッチベースやマルチカラム処理による重複計算を回避する軽量で効率的なアーキテクチャを設計すること。
• 空間的およびチャネル注意力を用いてノイズを抑制し、関連する人混みのパターンを強調することで特徴表現を向上させること。
• 入力シーンの分類に基づき、適切なブランチに特徴量をルーティングする密度に敏感なデコーダーを開発すること。

提案手法

• 階層的特徴量を抽出するため、VGG16 をエンコーダーとして使用。その後、グローバル平均プーリング、1×1畳み込み、3×3 カーネルを用いた拡張畳み込み（dilated convolutions）の級列を経て、マルチスケール特徴量の学習を実現。
• 異なる層にチャネル注意力および空間的注意力モジュールを適用し、識別性の高い特徴量を強化し、不要な活性化やノイズを抑制。
• 入力画像全体の混雑度レベルを予測する分類ヘッドを導入。これにより、高混雑度または低混雑度のデコーダー・ブランチへの特徴量ルーティングを制御。
• 高密度領域および低密度領域のための別々のヘッドを備えた二重ブランチデコーダー（DAD）を採用。これにより、シーンタイプごとに適応的な特徴量学習が可能に。
• 最終的な密度マップ生成のため、空間的に適応的な重みを学習するシグモイドゲート付きアテンション機構を用いて、二つのブランチ出力を融合。
• L1 および L2 損失を組み合わせた損失関数を用いて学習を実施。これにより、正確な密度マップの生成とカウント精度の向上を実現。

実験結果

リサーチクエスチョン

• RQ1 単一のディープニューラルネットワークアーキテクチャが、1枚の画像内での極端な密度変動を効果的に処理できるか？
• RQ2 専用のデコーダー・ブランチへの特徴量の動的ルーティングが、人混みカウントの精度をどのように向上させるか？
• RQ3 アテンション機構とマルチスケール特徴量が、スパarsな人混みと密集した人混みの両方の状況で性能をどの程度向上させるか？
• RQ4 密度に敏感な分類器が、多様な人混みカウントベンチマークにおける一般化性能を向上させられるか？
• RQ5 提案された密度マップのマルチスケール融合用ゲート機構は、標準的な統合戦略に比べて、より優れた最終的なカウント結果をもたらすか？

主な発見

• ShanghaiTech-A データセットでは、PDANet が MAE 58.5、MSE 93.4 を達成。PaDNet、ADCrowdNet、HA_CNN といった最先端手法を上回った。
• ShanghaiTech-B では、MAE 7.1、MSE 10.9 を達成。密集したシーンにおいても優れた性能を示した。
• WorldExpo10 データセットでは、平均 MAE 6.0 を達成。前回の最先端手法（CAN）を 1.4 MAE ポイント上回った。
• 最も挑戦的な UCF-Crowd50 データセットでは、PaDNet と比較して MAE を 35% 以上低減。119.8 の MAE と 159 の MSE を達成した。
• UCSD データセットでは、MAE 0.93、MSE 1.21 を達成。最高成績の PaDNet モデルに非常に近い結果で、2位にランクインした。
• アブレーションスタディにより、ピラミッド特徴量、アテンションモジュール、密度に敏感なデコーダーの組み合わせが性能向上に不可欠であることが確認された。