[論文レビュー] Iterative Crowd Counting

Viresh Ranjan, Hieu Lê+1 more|arXiv (Cornell University)|Jul 26, 2018

Video Surveillance and Tracking Methods参考文献 17被引用数 24

ひとこと要約

本論文は、まず低解像度の密度マップを予測し、その後特徴マップの統合を用いてそれを高解像度出力に精錬する二本のブランチからなる二段階的畳み込みニューラルネットワーク（ic-CNN）を提案する。この手法は最先端の性能を達成し、従来手法と比較してShanghaitech Part Bデータセットにおいて平均絶対誤差（MAE）を48.3％削減した。

ABSTRACT

In this work, we tackle the problem of crowd counting in images. We present a Convolutional Neural Network (CNN) based density estimation approach to solve this problem. Predicting a high resolution density map in one go is a challenging task. Hence, we present a two branch CNN architecture for generating high resolution density maps, where the first branch generates a low resolution density map, and the second branch incorporates the low resolution prediction and feature maps from the first branch to generate a high resolution density map. We also propose a multi-stage extension of our approach where each stage in the pipeline utilizes the predictions from all the previous stages. Empirical comparison with the previous state-of-the-art crowd counting methods shows that our method achieves the lowest mean absolute error on three challenging crowd counting benchmarks: Shanghaitech, WorldExpo'10, and UCF datasets.

研究の動機と目的

• 密度に極端な変動を示す画像における正確な集団数え上げの課題に対処すること。
• 異なる画像間で広範囲にわたる集団密度を扱う能力に制限を受ける単一段階のCNNの限界を克服すること。
• 低解像度の予測結果を高解像度の精錬に用いる文脈的特徴として活用することで、密度推定の精度を向上させること。
• 複数段階の拡張を構築し、直前の段階からの予測結果を段階的に統合することで、さらなる性能向上を実現すること。
• 従来の多カラムアプローチと比較して、最小限のアーキテクチャ的複雑性で、ベンチマークデータセットにおいて最先端の結果を達成すること。

提案手法

• 低解像度CNN（LR-CNN）と高解像度CNN（HR-CNN）からなる二本のブランチからなる畳み込みニューラルネットワークアーキテクチャを提案し、LR-CNNは入力を1/4解像度で処理する。
• LR-CNNを用いて低解像度の密度マップを生成し、畳み込み特徴を抽出する。その後、これらの特徴をHR-CNNの特徴と統合する。
• HR-CNNに自らの特徴に加えて、LR-CNNの低解像度予測結果と特徴マップを統合させることで、高解像度の密度マップを予測するように訓練する。
• 複数段階の拡張を導入し、複数のic-CNNモデルをスタックし、各段階で直前のすべての段階からの予測結果を入力として用いる。
• 低解像度の予測結果と高解像度の特徴の間で特徴レベルの統合を適用し、空間的詳細と密度推定の正確性を向上させる。
• 予測された密度マップと正解の密度マップの間で標準的なL1損失を用い、平均絶対誤差（MAE）を最小化するようにネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 二本のブランチからなる反復的畳み込みニューラルネットワークアーキテクチャは、従来の多カラム型やスイッチング型CNNと比較して、集団数え上げの精度を上回ることができるか？
• RQ2 低解像度の密度予測結果を文脈的特徴として統合することで、高解像度の密度推定精度が向上するか？
• RQ3 反復フレームワークの複数段階拡張により、ベンチマークデータセットにおける平均絶対誤差（MAE）がさらに低減できるか？
• RQ4 Shanghaitech、WorldExpo’10、UCFのような密度に著しい差があるデータセット間で、提案手法は一般化性能を示せるか？
• RQ5 遮蔽や小規模で密集したクラスタのような困難なケースにおいて、モデルの性能はどの程度低下するか？

主な発見

• ic-CNNは、従来の最先端手法CP-CNNと比較して、Shanghaitech Part Bデータセットにおいて平均絶対誤差（MAE）を48.3％削減した。
• WorldExpo’10データセットでは、6つの評価ケースのうち3つで全手法を上回り、平均MAEが10.3という最低水準を記録した。
• UCF Crowd Countingデータセットでは、MAEが260.9、RMSEが365.5という最高のスコアを達成し、CP-CNN（MAE: 295.8）を顕著に上回った。
• 定性的な結果から、ic-CNNは密集した集団をうまく予測できるが、失敗ケースでは木の葉を人間と誤認識することがある。
• 複数段階の拡張により、複数のic-CNN段階からの予測結果を統合することで性能が向上し、反復的精錬の有効性が示された。
• 密度の異なるデータセット間でも良好に一般化でき、特に高密度なシーンや平均1,280人/枚という高い平均人数を持つUCFのようなデータセットに対しても適応可能であった。