[論文レビュー] FusionCount: Efficient Crowd Counting via Multiscale Feature Fusion

Yiming Ma, Víctor Sánchez+1 more|arXiv (Cornell University)|Feb 28, 2022

Video Surveillance and Tracking Methods被引用数 7

ひとこと要約

FusionCountは、追加のマルチスケールモジュールに依存せず、複数のエンコーダー層からのマルチスケール特徴マップ統合を活用することで、計算コストを顕著に低減しながら、ShanghaiTech AおよびBベンチマークで最先端の性能を達成する効率的なクラウドカウンティングモデルを提案する。MAEとRMSEが低く抑えられている。

ABSTRACT

State-of-the-art crowd counting models follow an encoder-decoder approach. Images are first processed by the encoder to extract features. Then, to account for perspective distortion, the highest-level feature map is fed to extra components to extract multiscale features, which are the input to the decoder to generate crowd densities. However, in these methods, features extracted at earlier stages during encoding are underutilised, and the multiscale modules can only capture a limited range of receptive fields, albeit with considerable computational cost. This paper proposes a novel crowd counting architecture (FusionCount), which exploits the adaptive fusion of a large majority of encoded features instead of relying on additional extraction components to obtain multiscale features. Thus, it can cover a more extensive scope of receptive field sizes and lower the computational cost. We also introduce a new channel reduction block, which can extract saliency information during decoding and further enhance the model's performance. Experiments on two benchmark databases demonstrate that our model achieves state-of-the-art results with reduced computational complexity.

研究の動機と目的

• 既存のクラウドカウンティングモデルが浅いエンコーダー特徴を十分に活用していないこと、および高コストなマルチスケールモジュールに依存しているという制限を解消する。
• 計算複雑性を低減しつつ、マルチスケール特徴抽出の精度を維持または向上させる。
• デコード段階で局所的特徴の重要性を抽出する新しいチャネル削減ブロックを導入することで、モデル性能を向上させる。
• 追加のモジュールを用いずに、複数のエンコーダーステージからの特徴を用いて、6から192までの包括的な受容 field をカバーする。
• 既存のVGGベースのモデルと比較して、顕著に少ない浮動小数点演算数（FLOPs）で最先端の性能を達成する。

提案手法

• VGG-16の最初の17層をエンコーダーとして使用し、層3から開始する複数の段階で特徴マップを収集することで、多様な受容フィールドサイズを捉える。
• 同一空間解像度の特徴をグループ化し、学習可能な重みを用いて統合することで、最初のフェーズの特徴統合を実施し、マルチスケール表現を生成する。
• 生の特徴ではなく、対照特徴（contrast features）から注目度重みを計算する対照特徴ベースの統合メカニズムを導入し、統合品質を向上させる。
• ポイントワイズ畳み込みとチェーン式に接続された拡張畳み込み（dilated convolutions）を用いて、チャネル次元を削減しながらも顕著な情報を保持するチャネル削減モジュールを採用する。
• 最初のフェーズ統合からのマルチスケール特徴と、チャネル削減済み特徴を統合するデコーダーを用い、最終的な密度マップを生成する。
• 訓練には標準的な損失関数（MSE、MAE）を用い、統合および削減モジュールを除くと、追加のアーキテクチャ的革新は導入していない。

実験結果

リサーチクエスチョン

• RQ1 追加のモジュールを用いずに、複数のエンコーダー層からの特徴を活用することで、マルチスケール特徴表現を効果的に捉えることができるか？
• RQ2 最高レベルの特徴マップのみを用いるのと比較して、複数のエンコーダーステージからの特徴を統合することは、精度と効率の面でどのように異なるか？
• RQ3 提案された対照特徴ベースの統合メカニズムは、直接的な特徴統合よりも性能を向上させるか？
• RQ4 チャネル削減モジュールが、デコード段階で顕著な特徴に注目することで、モデル性能をどの程度向上させるか？
• RQ5 既存のSOTA手法と比較して、顕著に低い計算コストで最先端のクラウドカウンティング精度を達成できるか？

主な発見

• ShanghaiTech Bデータセットでは、FusionCountは最低のMAE（6.9）とRMSE（11.8）を達成し、CSRNet、CAN、BL、DM-Countを含むすべての比較モデルを上回った。
• ShanghaiTech Aでは、MAEが2番目に低い（13.4）を記録し、訓練の難易度が高いためにも、強力な性能を示した。
• 対照特徴ではなく生の特徴を用いた変種モデルでは、MAE（7.6）とRMSE（12.9）が上昇し、対照特徴統合の有効性が裏付けられた。
• アブレーションスタディの結果、チャネル削減モジュール内のポイントワイズ畳み込みおよび拡張畳み込み層の両方が不可欠であることが判明。いずれかを削除すると、MAEとRMSEが上昇した。
• FusionCountは、CAN や CSRNet などのモデルと比較して、FLOPsが低く抑えられており、顕著な計算複雑性の低減を実現した。
• 定性的な結果では、1,600人以上の非常に混雑したシーン（相対誤差1.98%）や強いスケール変動下でも正確な密度推定が可能であり、モデルの頑健性が確認された。