[論文レビュー] Multi-scale Convolutional Neural Networks for Crowd Counting

Lingke Zeng, Xiangmin Xu+3 more|arXiv (Cornell University)|Feb 8, 2017

Video Surveillance and Tracking Methods被引用数 22

ひとこと要約

本稿では、複数スケールのボーブル（MSB）を用いたマルチスケール畳み込みニューラルネットワーク（MSCNN）を提案する。この手法は、1本の列構造を採用し、スケールに応じた特徴を抽出することで、群衆数の推定を実現する。マルチカラムやマルチネットワークアーキテクチャとは異なり、MSCNNは上海交通大学データセット（ShanghaiTech）およびUCF_CC_50データセットで最先端の精度を達成しており、パrameter数が著しく少ない（MCNNの19.2M対比2.9M）ため、実世界への実装に向け、より効率的で実用的である。

ABSTRACT

Crowd counting on static images is a challenging problem due to scale variations. Recently deep neural networks have been shown to be effective in this task. However, existing neural-networks-based methods often use the multi-column or multi-network model to extract the scale-relevant features, which is more complicated for optimization and computation wasting. To this end, we propose a novel multi-scale convolutional neural network (MSCNN) for single image crowd counting. Based on the multi-scale blobs, the network is able to generate scale-relevant features for higher crowd counting performances in a single-column architecture, which is both accuracy and cost effective for practical applications. Complemental results show that our method outperforms the state-of-the-art methods on both accuracy and robustness with far less number of parameters.

研究の動機と目的

• 視覚的歪みによって人物が著しく異なるサイズに見える場合に生じるスケール変動の問題に取り組むこと。
• マルチカラムやマルチネットワークアーキテクチャに依存する既存のCNNベースの手法が抱える複雑性と計算コストの問題を克服すること。
• 別個のカラムやネットワークの事前学習を必要としない、より効率的でエンド・トゥ・エンドで訓練可能なモデルを構築すること。
• モデルサイズと計算コストを最小限に抑えつつ性能を維持することで、群衆数推定モデルの実用的導入を可能にすること。

提案手法

• Inceptionアーキテクチャをインspiredしたマルチスケールボーブル（MSB）モジュールを導入し、1×1、3×3、5×5、7×7、9×9の異なるカーネルサイズを持つ並列の畳み込みフィルタを用いて、1本の列内でマルチスケール特徴を抽出する。
• 最終層を除き、各畳み込み層の後にReLU活性化関数を適用し、最終層に対してもReLUを適用することで、非負の密度マップ出力を保証する。
• 1×1畳み込み層（MLP）を用いてマルチスケール特徴を統合し、最終的な密度マップを回帰する。これにより、チャネル単位の特徴変換と次元制御が可能になる。
• 最大プーリング層を用いた階層的ネットワーク構造を採用し、特徴マップをダウンサンプリングすることで、段階的にスケールに敏感な表現を精錬する。
• すべてのカーネルに対して標準偏差σ = 0.01のガウス初期化を適用し、モーメンタム0.9、重み減衰0.0005を用いた確率的勾配降下法（SGD）でエンド・トゥ・エンドで訓練する。
• 特にUCF_CC_50のような小規模データセットにおいて多様性を高めるために、ランダムクロッピングと反転を用いたデータオーグメンテーションを実装する。

実験結果

リサーチクエスチョン

• RQ1 マルチカラムやマルチネットワーク設計に依存せずに、1本の列CNNアーキテクチャが、群衆数推定においてスケール関連特徴を効果的に捉えられるか。
• RQ2 提案されたマルチスケールボーブル（MSB）機構は、従来の単一カーネルまたはマルチカラムCNNに比べ、精度とパrameter効率の両面で優れているか。
• RQ3 MSCNNモデルは、実世界の監視画像に見られる多様な群衆密度分布やスケール変動に、堅牢に一般化できるか。
• RQ4 パrameter数を削減することで、ベンチマークデータセットにおける性能を損なわず、実用的導入性がどの程度向上するか。

主な発見

• ShanghaiTechデータセットのPart_AではMAEが83.8、Part_Bでは127.4を記録し、MCNN や Zhang et al. [11] などすべての先行手法を上回る。
• UCF_CC_50データセットでは、MAEが363.7、MSEが468.4を記録し、より複雑なCrowdNet（MAE: 452.5）やMCNN（MAE: 377.6）をも凌駕する。
• MSCNNはわずか290万パラメータで、CrowdNet（1480万）の約5倍、MCNN（1920万）の約7倍も少ないため、パラメータ効率に優れている。
• シンプルなエンド・トゥ・エンドで訓練可能なアーキテクチャを採用することで、両データセットで最先端の性能を達成し、マルチカラム部の事前学習を不要としている。
• アブレーションスタディの結果、マルチスケールボーブル設計がスケール不変特徴を効果的に捉えており、視覚的歪みや隠蔽に対する耐性が向上していることが確認された。
• MSBと1×1畳み込み統合の組み合わせにより、最小限の計算コストで高品質な密度マップ回帰が実現されている。