[論文レビュー] Crowd Counting using Deep Recurrent Spatial-Aware Network

Lingbo Liu, Hongjun Wang+3 more|arXiv (Cornell University)|Jul 2, 2018

Video Surveillance and Tracking Methods参考文献 23被引用数 35

ひとこと要約

本稿では、スケールおよび回転の変動に対応するため、再帰的空間変換器モジュールを用いて密度マップを段階的に最適化する深層再帰的空間認識ネットワーク（DRSAN）を提案する。この手法は、最先端の性能を達成し、WorldExpo’10ではMAEを12%、UCF_CC_50では22.8%低減した。

ABSTRACT

Crowd counting from unconstrained scene images is a crucial task in many real-world applications like urban surveillance and management, but it is greatly challenged by the camera's perspective that causes huge appearance variations in people's scales and rotations. Conventional methods address such challenges by resorting to fixed multi-scale architectures that are often unable to cover the largely varied scales while ignoring the rotation variations. In this paper, we propose a unified neural network framework, named Deep Recurrent Spatial-Aware Network, which adaptively addresses the two issues in a learnable spatial transform module with a region-wise refinement process. Specifically, our framework incorporates a Recurrent Spatial-Aware Refinement (RSAR) module iteratively conducting two components: i) a Spatial Transformer Network that dynamically locates an attentional region from the crowd density map and transforms it to the suitable scale and rotation for optimal crowd estimation; ii) a Local Refinement Network that refines the density map of the attended region with residual learning. Extensive experiments on four challenging benchmarks show the effectiveness of our approach. Specifically, comparing with the existing best-performing methods, we achieve an improvement of 12% on the largest dataset WorldExpo'10 and 22.8% on the most challenging dataset UCF_CC_50.

研究の動機と目的

• 制約のないシーンにおけるカメラの視点に起因する大規模および回転の変動に対処する挑戦に取り組む。
• 固定マルチスケールアーキテクチャの限界を克服し、多様なスケールおよび回転の変化に適応できない点を解消する。
• 局所領域を動的に選択・精錬することで、密度マップの推定を向上させる学習可能な空間変換モジュールを導入する。
• 再帰的メカニズムを用いてグローバルな文脈と繰り返しの局所的精錬を統合することで、集団計数の精度を向上させる。

提案手法

• 初期の集団密度マップを、空間変換と残差学習を用いて繰り返し精錬する再帰的空間認識精錬（RSAR）モジュールを採用する。
• 各LSTMステップに空間変換ネットワーク（STN）を統合し、学習されたスケール、回転、平行移動パラメータに基づいて、注目領域を動的に切り取り・変形する。
• 局所精錬ネットワークを適用し、注目領域の密度マップを残差学習を用いて強化することで、特徴表現を向上させる。
• 最大30回の精錬ステップを備えた再帰的アーキテクチャを採用し、段階的に密度マップを精錬する。性能は30ステップでピークに達する。
• グローバルな文脈をフル画像から取り込み、局所的精錬をガイドすることで、全体の密度分布の認識を向上させる。
• マルチスケール損失を用いてエンドツーエンドでモデルを訓練し、グローバルおよび局所の密度推定精度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な空間変換モジュールは、密度推定におけるスケールおよび回転の変動を効果的に処理できるか？
• RQ2 一回の通過または固定アーキテクチャと比較して、局所領域の再帰的精錬は集団計数の精度を向上させるか？
• RQ3 グローバルな文脈の統合は、局所密度マップ精錬の性能にどのように影響を与えるか？
• RQ4 精度と計算コストのバランスを考慮した場合、最適な精錬ステップ数は何か？

主な発見

• 提案手法は、既存で最も優れた手法と比較して、WorldExpo’10データセットでMAEを12%改善した。
• より困難なUCF_CC_50データセットでは、最先端のアプローチと比較してMAEを22.8%低減した。
• アブレーションスタディの結果、空間変換器に回転、スケール、平行移動を組み込むことで最良の性能が得られ、ShanghaiTech Part AではMAEが83.1（ベースライン）から69.3に低下した。
• グローバルな文脈を排除すると性能が低下し、Part AではMAEが69.3から74.44に上昇した。これは、正確な推定においてグローバルな文脈の重要性を示している。
• 再帰的精錬メカニズムにより精度が段階的に向上し、Part Aでは30ステップでMAEが69.3に達し、Part Bでは11.6に達するが、40ステップ目でわずかに劣化した。
• 可視化比較では、複数ステップの精錬により、初期予測と比較してより正確で詳細な密度マップが生成された。