[論文レビュー] Multi-Resolution Fusion and Multi-scale Input Priors Based Crowd Counting

Usman Sajid, Wenchi Ma+1 more|arXiv (Cornell University)|Oct 4, 2020

Video Surveillance and Tracking Methods参考文献 37被引用数 8

ひとこと要約

本論文は、パッチリスケーリングモジュール（PRM）を、アップスケール、ダウンスケール、オリジナルスケールの3つのスケール入力プライア（上、下、元のスケール）に置き換えることで、集団密度分類を必要とせずに精度を向上させるマルチスケール入力プライアとマルチリゾリューション融合を組み合わせた集団カウントネットワークを提案する。この手法はマルチカラムアーキテクチャを採用し、クロスカラム特徴融合と補助回帰ヘッドを備えており、ShanghaiTech、UCF-QNRF、AHU-Crowdのベンチマークデータセットで最先端の性能を達成し、RMSEの顕著な向上を実現した。

ABSTRACT

Crowd counting in still images is a challenging problem in practice due to huge crowd-density variations, large perspective changes, severe occlusion, and variable lighting conditions. The state-of-the-art patch rescaling module (PRM) based approaches prove to be very effective in improving the crowd counting performance. However, the PRM module requires an additional and compromising crowd-density classification process. To address these issues and challenges, the paper proposes a new multi-resolution fusion based end-to-end crowd counting network. It employs three deep-layers based columns/branches, each catering the respective crowd-density scale. These columns regularly fuse (share) the information with each other. The network is divided into three phases with each phase containing one or more columns. Three input priors are introduced to serve as an efficient and effective alternative to the PRM module, without requiring any additional classification operations. Along with the final crowd count regression head, the network also contains three auxiliary crowd estimation regression heads, which are strategically placed at each phase end to boost the overall performance. Comprehensive experiments on three benchmark datasets demonstrate that the proposed approach outperforms all the state-of-the-art models under the RMSE evaluation metric. The proposed approach also has better generalization capability with the best results during the cross-dataset experiments.

研究の動機と目的

• パッチリスケーリングモジュール（PRM）の限界を解決する。PRMは高コストで不正確な集団密度分類を必要とし、入力パッチごとに1回のリスケーリングしか行わない。
• 遮蔽、視覚的変化、照明の変動といった困難な状況下でも、多様な集団密度にわたる一般化性能を向上させる。
• PRMを、上・下・オリジナルスケールの3つのリスケーリングレベルを同時に活用できる、より効果的でエンドツーエンドで学習可能な入力プライア機構に置き換える。
• 各段階で特徴レベルの統合と補助回帰ヘッドを用いたマルチカラムアーキテクチャにより、学習と予測精度を向上させる。

提案手法

• 入力パッチのアップスケール（I₁）、オリジナル（I₂）、ダウンスケール（I₃）の3つの入力プライアを導入。これらは分類処理を経ずに元の画像から直接得られる。
• 3段階のネットワークを採用し、各マルチカラムブランチを特定の集団密度スケール（低・中・高）に特化させることで、マルチリゾリューション特徴学習を可能にする。
• 各段階でカラム間の特徴共有を用いたマルチリゾリューション統合により、クロススケール特徴強化と表現学習の向上を実現する。
• 各段階の終端に3つの補助回帰ヘッド（RH₁、RH₂、RH₃）を設け、学習を監視し、特徴学習の安定性を高め、最終的な回帰性能を向上させる。
• 段階2および段階3では、勾配の流れを維持しながら特徴学習を深めるために、各カラムに2つのリーマンモジュール（RMs）を配置する。
• 最終ヘッドおよび補助ヘッドにおけるL1およびL2損失を用いて、エンドツーエンドで全ネットワークを訓練し、集団数回帰を最適化する。

実験結果

リサーチクエスチョン

• RQ1 PRMモジュールをマルチスケール入力プライアに置き換えることで、追加の集団密度分類を必要とせずに集団カウント精度が向上するか？
• RQ2 複数のカラム間で行うマルチリゾリューション統合は、多様性の高い集団密度画像において性能をどのように向上させるか？
• RQ3 補助回帰ヘッドは、最終的な集団数予測の安定性と正確性にどの程度寄与するか？
• RQ4 クロスデータセット評価において、提案手法は最先端モデルよりも優れた一般化性能を示すか？
• RQ5 上・下・オリジナルスケールの3つの入力プライアが、モデル全体の性能にとってどの程度重要か？

主な発見

• ShanghaiTech Part-Aデータセットでは、提案手法（v5）がRMSE 81.0を達成し、前回の最良結果（86.2）より6%の向上を示し、RMSE指標における優れた性能を実証した。
• UCF-QNRFデータセットでは、RMSEが305から278に低下（8.9%の改善）、MAEが219から201に低下（8.2%の削減）し、クロスデータセット評価において強い一般化性能を示した。
• AHU-Crowdデータセットでは、RMSEが91.7、MAEが60.2を達成し、前回の最先端手法比でRMSEで10%の改善、MAEで9.6%の削減を達成した。
• アブレーションスタディの結果、3つの入力プライアのいずれかを削除すると、MAEが最低9.1%、RMSEが最低20.1%悪化し、それらが重要な役割を果たしていることを裏付けた。
• 3つの補助回帰ヘッドのいずれかを削除すると、MAEが最低11.9%、RMSEが最大29.7%悪化し、学習の安定性と正確性における重要性を示した。
• 最適な構成は、段階2および段階3の各カラムに2つのリーマンモジュール（RMs）を設けることである。1つまたは3つのRMsを各カラムに設けると、性能が著しく低下し（RMSEが最大27.3%増加）、顕著な劣化を示した。