[論文レビュー] Crowd Counting on Images with Scale Variation and Isolated Clusters

Haoyue Bai, Wen Song+1 more|arXiv (Cornell University)|Sep 9, 2019

Video Surveillance and Tracking Methods参考文献 35被引用数 4

ひとこと要約

本論文では、段階的文脈モジュール、スケール適応型自己注意メカニズム、階層的統合を備えた、スケールに適応し、長距離の文脈に注意を向けるネットワークSACANetを提案する。このネットワークは、大規模なスケール変動と孤立した小さなクラスタを効果的に処理し、VisDrone2019およびShanghaiTechベンチマークでSOTA性能を達成し、特にスケールが多様で散在するクラスタを有する極端な混雑状態でも顕著に低いMAEを実現する。

ABSTRACT

Crowd counting is to estimate the number of objects (e.g., people or vehicles) in an image of unconstrained congested scenes. Designing a general crowd counting algorithm applicable to a wide range of crowd images is challenging, mainly due to the possibly large variation in object scales and the presence of many isolated small clusters. Previous approaches based on convolution operations with multi-branch architecture are effective for only some narrow bands of scales and have not captured the long-range contextual relationship due to isolated clustering. To address that, we propose SACANet, a novel scale-adaptive long-range context-aware network for crowd counting. SACANet consists of three major modules: the pyramid contextual module which extracts long-range contextual information and enlarges the receptive field, a scale-adaptive self-attention multi-branch module to attain high scale sensitivity and detection accuracy of isolated clusters, and a hierarchical fusion module to fuse multi-level self-attention features. With group normalization, SACANet achieves better optimality in the training process. We have conducted extensive experiments using the VisDrone2019 People dataset, the VisDrone2019 Vehicle dataset, and some other challenging benchmarks. As compared with the state-of-the-art methods, SACANet is shown to be effective, especially for extremely crowded conditions with diverse scales and scattered clusters, and achieves much lower MAE as compared with baselines.

研究の動機と目的

• 視覚的および距離的要因による同じ物理的サイズの物体が異なるように見えるという、スケール変動の大きな影響を受ける集団計数の課題に対処する。
• 局所的受容 field では孤立した小さなクラスタの長距離文脈的情報を捉えることが困難であるという制限を克服する。
• 特に極めて混雑したシーンにおいても、多様なスケールと散在クラスタにわたって高い精度を維持するモデルを設計する。
• スケール適応型注意と階層的特徴統合を統合することで、密度マップ回帰の性能を向上させる。
• 極端なスケール変動と孤立クラスタを有する挑戦的なベンチマークにおいて、既存手法よりも優れた一般化性能と低い誤差（MAE/MSE）を達成する。

提案手法

• 膨張畳み込みとマルチスケール特徴集約を用いて受容 field を拡大し、長距離文脈特徴を抽出するピラミッド文脈モジュールを採用する。
• 物体のスケールに応じて動的に最も適切な畳み込みブランチを選択するスケール適応型自己注意メカニズムを導入し、小さなクラスタや遠く離れたクラスタに対する感受性を向上させる。
• グループ正規化を用いたマルチブランチアーキテクチャを採用し、スケール間での訓練安定性と特徴表現を向上させる。
• 多段階自己注意特徴を統合する階層的統合モジュールを実装し、局所的およびグローバルな文脈の効果的統合を可能にする。
• 訓練中に最適化と一般化を向上させるために、ネットワーク全体にグループ正規化を活用する。
• 密度マップ回帰にL1およびL2損失を用いてエンドツーエンドでモデルを学習し、カウント推定のためのMAEとMSEを最小化する。

実験結果

リサーチクエスチョン

• RQ1 固定されたカーネルサイズに依存せずに、深層学習モデルが集団計数における大規模なスケール変動を効果的に処理できるか。
• RQ2 長距離文脈モデリングが、混雑したシーンにおける孤立した小さなクラスタの検出にどの程度寄与するか。
• RQ3 スケール適応型注意メカニズムが、多様なスケールにわたる大きな物体と小さな物体の両方の性能向上に寄与できるか。
• RQ4 多段階自己注意特徴の階層的統合が、全体のカウント精度にどのように寄与するか。
• RQ5 極端なスケール変動と散在クラスタを有するベンチマークにおいて、SACANetはSOTA手法よりも一般化性能に優れているか。

主な発見

• ShanghaiTech AデータセットではMAEが64.4を達成し、以前のSOTA手法SANet（MAE 67.0）を上回った。
• VisDrone2019 VehicleデータセットではMAEが11.3を記録し、MCNN（13.1）を顕著に下回り、極めて混雑したシーンでも優れた性能を示した。
• SANetと比較して、ShanghaiTech AではMAEを7%以上、ShanghaiTech Bでは約4%低減し、精度向上が顕著に確認された。
• アブレーションスタディの結果、ピラミッド文脈モジュール、スケール適応型自己注意、階層的統合の各コンポーネントが性能向上に寄与しており、フルモデルが最良の結果を達成した。
• すべてのスケール変動（CV）および孤立クラスタ（DVI）サブセットにおいて、SACANetはMCNNを常に上回り、特に高CVおよび高DVI状況でMAEとMSEが低かった。
• グループ正規化の導入により、訓練の最適性が向上し、データセット全体にわたる収束性と一般化性能が向上した。