[論文レビュー] Crowd counting via scale-adaptive convolutional neural network

Lu Zhang, Miaojing Shi+1 more|arXiv (Cornell University)|Nov 13, 2017

Video Surveillance and Tracking Methods参考文献 31被引用数 23

ひとこと要約

本論文では、固定された小さな受容 field を持つ深層畳み込みニューラルネットワーク（CNN）の複数層からの特徴マップを統合することで、スケールおよび視点の変化に適応可能なスケール適応型畳み込みニューラルネットワーク（SaCNN）を提案する。密度マップ損失に加えて相対的カウント損失を導入することで、スパースな群衆シーンにおける一般化性能が著しく向上し、ShanghaiTech、UCF_CC_50、WorldExpo’10、および新しいスパース群衆データセットであるSmartCityにおいて最先端の性能を達成した。

ABSTRACT

The task of crowd counting is to automatically estimate the pedestrian number in crowd images. To cope with the scale and perspective changes that commonly exist in crowd images, state-of-the-art approaches employ multi-column CNN architectures to regress density maps of crowd images. Multiple columns have different receptive fields corresponding to pedestrians (heads) of different scales. We instead propose a scale-adaptive CNN (SaCNN) architecture with a backbone of fixed small receptive fields. We extract feature maps from multiple layers and adapt them to have the same output size; we combine them to produce the final density map. The number of people is computed by integrating the density map. We also introduce a relative count loss along with the density map loss to improve the network generalization on crowd scenes with few pedestrians, where most representative approaches perform poorly on. We conduct extensive experiments on the ShanghaiTech, UCF_CC_50 and WorldExpo datasets as well as a new dataset SmartCity that we collect for crowd scenes with few people. The results demonstrate significant improvements of SaCNN over the state-of-the-art.

研究の動機と目的

• 既存の手法が性能を発揮しないスパースなシーンにおいて、スケールおよび視点の変化に起因する課題に対処すること。
• 空間分解能を保持し、深く効率的な学習を可能にする固定された小さなフィルタを備えた単一カラムのCNNバックボーンを設計すること。
• スパースな群衆シーンにおける一般化性能を向上させるために、相対的カウント損失をマルチタスク目的関数として導入すること。
• 1枚あたり平均7.4人の歩行者を有する高角度撮影の画像を含む新しいデータセットSmartCityを収集・公開し、スパースな群衆カウントの評価をより適切に行うこと。
• マルチスケール特徴統合を備えた単一カラムアーキテクチャが、より単純かつパラメータ効率的であるにもかかわらず、マルチカラム設計を上回ることを示すこと。

提案手法

• SaCNNは、固定された小さなフィルタを備えた単一のCNNバックボーンを用い、高空間分解能を維持したまま深層特徴を抽出する。
• ネットワークの複数層からの特徴マップを同じ空間サイズにアップサンプリングし、連結することでスケール適応型表現を形成する。
• 統合された特徴マップを用いて最終的な密度マップを回帰し、その積分によって総歩行者数を算出する。
• 標準的な密度マップ損失に加えて、相対的カウント損失を組み合わせたマルチタスク損失を導入し、スパースなシーンにおける性能を向上させる。
• 相対的カウント損失は、画像のパッチ間における歩行者の相対的数を学習するようネットワークを促進し、低密度画像における一般化性能を向上させる。
• 高角度の視点と低平均歩行者数（1枚あたり7.4人）を持つ新しいデータセットSmartCityを収集し、スパースな群衆カウントの評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール特徴統合を備えた単一カラムCNNアーキテクチャが、群衆カウントにおいてマルチカラムアーキテクチャを上回ることができるか？
• RQ2 相対的カウント損失を導入することで、既存の手法が失敗するスパースな群衆シーンにおける一般化性能が向上するか？
• RQ3 密なデータセットで学習したモデルが、非常にスパースな群衆シーンに効果的に一般化できるか？
• RQ4 提案手法は、非常にスパースから非常に密な群衆密度にわたり、どのように性能を発揮するか？
• RQ5 統一された回帰ベースのアプローチが、群衆密度の全範囲にわたり、検出ベースの手法を上回ることができるか？

主な発見

• SaCNNはShanghaiTech、UCF_CC_50、WorldExpo’10の各データセットで最先端の性能を達成し、MAEおよびMSEの両面で顕著な改善を示した。
• 1枚あたり平均7.4人の歩行者がいる新しいSmartCityデータセットでは、SaCNNはMAEが8.6を達成し、平均カウントに非常に近い結果を示し、スパースなシーンにおける強力な一般化性能を証明した。
• 相対的カウント損失を導入したことで、損失を含まないSaCNNと比較してMAEが9.2点、MSEが11.8点低下し、スパースな状況下での有効性が実証された。
• 密集したシーン（ShanghaiTech PartA/B）ではYOLO9000ベースの検出手法を上回ったが、非常にスパースなSmartCityデータセットではYOLO9000がわずかに優れた性能を示した。
• アブレーションスタディの結果、マルチスケール特徴統合を備えた単一カラムアーキテクチャがマルチカラムモデルの70％以上の精度を達成しており、高い効率性と有効性を示した。
• 本モデルは、非常にスパースから非常に密な群衆密度の全範囲にわたり、一般化性能に優れ、ほとんどの設定で検出ベースおよび回帰ベースの最先端手法を上回った。