[論文レビュー] Crowd Counting via Hierarchical Scale Recalibration Network

Zhikang Zou, Yifan Liu+4 more|arXiv (Cornell University)|Mar 7, 2020

Video Surveillance and Tracking Methods参考文献 34被引用数 17

ひとこと要約

本稿では、階層的スケール再キャリブレーションネットワーク（HSRNet）を提案する。これは、チャネルおよび空間的依存関係をモデル化するスケールフォーカスモジュール（SFM）と、適応的で多スケール融合を可能にするスケール再キャリブレーションモジュール（SRM）を用いて特徴表現を向上させる、新しい協調的でマルチスケールな1本柱型の混雑度推定フレームワークである。本手法は、スケール固有の予測と真値密度マップを一致させるためにスケール一貫性損失を導入し、複数の混雑度推定ベンチマークで最先端の性能を達成するとともに、車両数推定へも一般化可能である。

ABSTRACT

The task of crowd counting is extremely challenging due to complicated difficulties, especially the huge variation in vision scale. Previous works tend to adopt a naive concatenation of multi-scale information to tackle it, while the scale shifts between the feature maps are ignored. In this paper, we propose a novel Hierarchical Scale Recalibration Network (HSRNet), which addresses the above issues by modeling rich contextual dependencies and recalibrating multiple scale-associated information. Specifically, a Scale Focus Module (SFM) first integrates global context into local features by modeling the semantic inter-dependencies along channel and spatial dimensions sequentially. In order to reallocate channel-wise feature responses, a Scale Recalibration Module (SRM) adopts a step-by-step fusion to generate final density maps. Furthermore, we propose a novel Scale Consistency loss to constrain that the scale-associated outputs are coherent with groundtruth of different scales. With the proposed modules, our approach can ignore various noises selectively and focus on appropriate crowd scales automatically. Extensive experiments on crowd counting datasets (ShanghaiTech, MALL, WorldEXPO'10, and UCSD) show that our HSRNet can deliver superior results over all state-of-the-art approaches. More remarkably, we extend experiments on an extra vehicle dataset, whose results indicate that the proposed model is generalized to other applications.

研究の動機と目的

• 画像内および画像間で顕著に変動する歩行者密度に起因する極端なスケール変動の課題に対処すること。
• 従来の手法が多スケール特徴を単純に連結または平均化することで生じるスケールの混沌やノイズの拡散という制限を克服すること。
• 各レイヤーで関連するスケールに適応的に焦点を当てる統一されたネットワークアーキテクチャを構築すること。
• 異なるスケールにおけるスケール固有の出力とそれに対応する真値密度マップの間の一貫性を強制することで、一般化性能を向上させること。
• 新しく導入された車両数推定データセットも含め、多様なデータセット上でモデルの有効性を検証すること。

提案手法

• スケールフォーカスモジュール（SFM）は、チャネル次元および空間次元に沿ってグローバルコンテキストを段階的にモデル化する：まず空間的特徴を圧縮してチャネルごとの重みを生成し、次にチャネル特徴を圧縮して空間的マスクを生成することで、特徴マップの再キャリブレーションを実現する。
• SFMは、フォーカス重みを用いた要素ごとの乗算を適用して特徴マップを再キャリブレーションし、各レイヤーが受容場のスケール範囲に最も関連する特徴を強調できるようにする。
• スケール再キャリブレーションモジュール（SRM）は、チャネル次元に沿って特徴マップをスライスしてスケール関連特徴を抽出し、スケール固有の統合戦略を用いてそれらを統合することで、マルチスケール予測を生成する。
• 本稿では、異なるフィルターサイズでの平均プーリングにより生成された真値密度マップと比較することで、各スケール固有の出力を監視する新しいスケール一貫性損失を導入する。
• ネットワークは2段階で訓練される：まずSFMを各バックボーンレイヤーに適用してスケール固有の特徴表現を強化し、次にSRMがそれらの特徴を統合して最終的な密度マップ予測を生成する。
• アーキテクチャはエンドツーエンドで学習可能であり、マルチカラムやマルチパス構造を必要とせず、階層的なスケール認識を維持するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 1本柱型ネットワークにおいて、異なるレイヤーで関連するスケールに適応的に再キャリブレーションされる深層特徴は、どのように実現できるか？
• RQ2 段階的なチャネルおよび空間的依存関係をモデル化することで、極端なスケール変動下における混雑度推定の特徴表現は、どの程度向上するか？
• RQ3 スケール一貫性損失は、異なるスケールにおけるマルチスケールネットワーク出力と真値密度マップの間の一致を効果的に実現できるか？
• RQ4 提案されたHSRNetは、混雑度推定を越えて、車両数推定などの他の密度推定タスクにも一般化可能か？
• RQ5 標準的なマルチスケール特徴の連結や平均化と比較して、HSRNetの階層的構造は、精度およびロバスト性の面でどの程度優れているか？

主な発見

• HSRNetは、4つのベンチマーク混雑度推定データセット（ShanghaiTech Part A（62.3 MAE）、Part B（7.2 MAE）、MALL、WorldExpo’10）で最先端の性能を達成した。
• アブレーションスタディの結果、SFMにおけるチャネル＋空間の順序が最良のパフォーマンス（Part Aで62.3 MAE）を示し、空間＋チャネルや並列設計を上回った。
• スケール一貫性損失は、スケール固有の出力とそれに対応する真値マップの一致を顕著に向上させたことが、図5の可視化で示された。
• HSRNetは、ShanghaiTech Part Aの5つの密度レベルにわたるスケール不変性が優れており、特に密集したシーンにおいてMCNNやCSRNetをすべてのグループで上回った。
• モデルは他の応用分野にも良好に一般化され、新たに評価された車両数推定データセットでも優れた結果を示し、混雑度推定を越えた広範な適用可能性を示した。
• スケール認識特徴再キャリブレーションを備えた階層的構造により、ネットワークはノイズを自動的に無視し、適切な混雑スケールに焦点を当てる能力を有している。