[論文レビュー] Stacked Pooling: Improving Crowd Counting by Boosting Scale Invariance

Siyu Huang, Xi Li+3 more|arXiv (Cornell University)|Aug 22, 2018

Evacuation and Crowd Dynamics参考文献 38被引用数 24

ひとこと要約

本稿では、クロススケールの視覚的類似性を活用することで、集団カウントにおけるスケール不変性を向上させるためにスタックドプーリングおよびマルチカーネルプーリングを提案する。特にスタックドプーリングを用いることで、より大きな、複数の受容 field を持つプーリングカーネルを活用し、スケール変動にわたる特徴の一貫性を向上させることで、ShanghaiTech-B や UCF-QNRF といったベンチマークデータセットにおいて、通常のプーリングよりも優れた性能を達成する。

ABSTRACT

In this work, we explore the cross-scale similarity in crowd counting scenario, in which the regions of different scales often exhibit high visual similarity. This feature is universal both within an image and across different images, indicating the importance of scale invariance of a crowd counting model. Motivated by this, in this paper we propose simple but effective variants of pooling module, i.e., multi-kernel pooling and stacked pooling, to boost the scale invariance of convolutional neural networks (CNNs), benefiting much the crowd density estimation and counting. Specifically, the multi-kernel pooling comprises of pooling kernels with multiple receptive fields to capture the responses at multi-scale local ranges. The stacked pooling is an equivalent form of multi-kernel pooling, while, it reduces considerable computing cost. Our proposed pooling modules do not introduce extra parameters into model and can easily take place of the vanilla pooling layer in implementation. In empirical study on two benchmark crowd counting datasets, the stacked pooling beats the vanilla pooling layer in most cases.

研究の動機と目的

• 多様な人物のサイズや密度による顕著なスケール変動の影響を受ける集団カウントの課題に対処すること。
• 画像間のクロススケール視覚的類似性に起因する、集団カウントモデルにおけるスケール不変性の重要性を強調すること。
• モデルパラメータやハイパーパrameter を増加させることなく、CNN のスケール変動に対するロバスト性を向上させること。
• 既存のアーキテクチャに簡単に統合可能な、非パラメトリックで効率的なプーリングモジュールを開発すること。

提案手法

• 複数のプーリングカーネル（例：2×2、4×4、8×8）を並列に適用することで、マルチスケールの局所的応答を捉えるマルチカーネルプーリングを導入する。
• より計算効率が良く、同等の効果を発揮するように、小さなプーリング操作を逐次的にスタックするスタックドプーリングを提案する。
• 提案されたプーリングモジュールが、追加の学習可能なパラメータやハイパーパrameter を追加しない非パラメトリックであることを保証する。
• 既存のCNNアーキテクチャ（例：Base-M Net、Wide-Net、Deep-Net）に、通常のプーリング層の即時置き換えとしてプーリングモジュールを統合する。
• 訓練および検証の学習曲線を可視化・比較するために、指数移動平均（EMA）スムージングを用いる。
• スケール不変性を、入力スケーリングにわたる特徴マップの一貫性を測る variation ratio 度量 γ を用いて定量化する。

実験結果

リサーチクエスチョン

• RQ1 集団画像におけるクロススケール視覚的類似性は、集団カウントモデルにおけるスケール不変性の必要性にどのように影響を与えるか？
• RQ2 パラメータやモデルの複雑さを増加させずに、プーリングモジュールをどのように改善することでスケール不変性を向上させられるか？
• RQ3 性能および一般化性能の観点から、スタックドプーリングは通常のプーリングおよびマルチカーネルプーリングと比べてどのように異なるか？
• RQ4 プーリングカーネルサイズが、顕著なスケール変動下でのCNNのスケール不変性に与える影響は何か？
• RQ5 提案手法は、高密度な集団シナリオにおいて特に優位性を示すか？

主な発見

• スタックドプーリングは、ShanghaiTech-B および UCF-QNRF データセットのほとんどの実験で通常のプーリングを上回り、一般化性能およびロバスト性の向上を示している。
• 特に高密度画像において、スタックドプーリングの特徴マップの variation ratio γ は通常のプーリングよりも顕著に低く、より強いスケール不変性を示している。
• 高密度画像において、スタックドプーリングのカーネル集合 K = {2,4,8} は単一カーネル K = {2} よりも顕著に優れた性能を示しており、顕著なスケール変動下でも有効性が確認された。
• 学習曲線から、スタックドプーリングを用いたモデルは、わずかに高い訓練 MAE を示すものの、特に初期訓練段階において通常のプーリングモデルよりも一般化性能に優れていることが示された。
• スタックドプーリングモジュールは、より深くかつ広いネットワーク（例：Deep-Net）においても強力な性能を維持しており、実世界の応用におけるスケーラビリティと実用性を示している。
• インサイトスタディの結果、より大きなプーリング範囲はスケール不変性を向上させるとともに、スタックドプーリングは計算コストを低減しつつもその恩恵を効果的に捉えていることが確認された。