[論文レビュー] Plug-and-Play Rescaling Based Crowd Counting in Static Images

Usman Sajid, Guanghui Wang|arXiv (Cornell University)|Jan 6, 2020

Video Surveillance and Tracking Methods参考文献 43被引用数 7

ひとこと要約

本稿では、静的画像における集団数の推定のためのプラグアンドプレイ型パッチ再スケーリングモジュール（PRM）を提案する。この手法は、4クラス分類に基づいて画像パッチを動的に再スケーリングすることで、集団の多様性に対応し、ごみくずだらけの背景領域を除外する。本手法は、複雑な背景からの過剰推定を低減することで、RMSEにおいて最大10.4%の相対的改善を達成し、データセット間で優れた一般化性能を示す。

ABSTRACT

Crowd counting is a challenging problem especially in the presence of huge crowd diversity across images and complex cluttered crowd-like background regions, where most previous approaches do not generalize well and consequently produce either huge crowd underestimation or overestimation. To address these challenges, we propose a new image patch rescaling module (PRM) and three independent PRM employed crowd counting methods. The proposed frameworks use the PRM module to rescale the image regions (patches) that require special treatment, whereas the classification process helps in recognizing and discarding any cluttered crowd-like background regions which may result in overestimation. Experiments on three standard benchmarks and cross-dataset evaluation show that our approach outperforms the state-of-the-art models in the RMSE evaluation metric with an improvement up to 10.4%, and possesses superior generalization ability to new datasets.

研究の動機と目的

• 静的画像におけるごみくずだらけの背景領域や集団に似た領域による集団の過剰推定の課題に対処すること。
• 多様な集団密度や複雑な背景に対して一般化性能に欠ける既存手法の限界を克服すること。
• 計算コストの高いマルチカラムまたはマルチレグレッサー構造に代わる、軽量でモジュラーなソリューションを開発すること。
• コンテンツ分類に基づいて知的にパッチを再スケーリングすることで、集団数の推定における精度と耐障害性を向上させること。
• 標準ベンチマーク上でのデータセット間評価を通じて、優れた一般化性能を実証すること。

提案手法

• パッチを低集団（LC）、高集団（HC）、中程度集団（MC）、非集団（NC）の4クラスに分類するパッチ再スケーリングモジュール（PRM）を提案する。
• 4クラス分類ヘッドを用いて、各パッチを適切なPRM再スケーリング処理（LCまたはHC）にルーティングするか、NCと分類された場合は破棄する。
• 分類結果に基づいてスケール固有の再スケーリングをパッチに適用し、正確な密度推定のための特徴表現を強化する。
• PRMをCC-1P、CC-2P、CC-Modの3つの異なる集団数推定フレームワークにプラグアンドプレイで統合し、モジュラーかつエンドツーエンドの学習を可能にする。
• 推論時に非集団パッチ（NC）を破棄することで、特に密集した集団に似た領域での過剰推定を防止する。
• RMSEとMAEを主な指標として、3つの標準ベンチマークでフレームワークを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 軽量でモジュラーなパッチ再スケーリング機構は、ごみくずだらけの集団に似た背景領域による集団数推定の過剰推定を低減できるか？
• RQ2 最先端モデルと比較して、PRMモジュールは多様な集団密度や複雑なシーンにおいて一般化性能をどのように向上させるか？
• RQ3 4クラスパッチ分類（LC, HC, MC, NC）は、集団数推定における精度と耐障害性をどの程度向上させるか？
• RQ4 マルチカラムまたはマルチレグレッサー構造と比較して、プラグアンドプレイ型PRMは精度と計算効率の両面で優れているか？
• RQ5 特に1つのデータセットで学習し、別のデータセットでテストした場合、PRMはどの程度のデータセット間一般化性能を示すか？

主な発見

• 提案手法は、標準ベンチマーク上での最先端モデルと比較して、RMSEで最大10.4%の相対的改善を達成した。
• UCF-QNRFデータセットでは、データセット間評価においてMAEを301から219、RMSEを457から305に低減し、優れた一般化性能を示した。
• 複数のデータセットで、テスト画像パッチの少なくとも14.25%、最大29.4%にPRMモジュールが適用されており、頻繁かつ効果的に使用されていることが示された。
• 平均して、テストパッチの30.9%から36.2%が非集団（NC）と分類され破棄されており、潜在的な過剰推定を防いでいる。
• アブレーションスタディの結果、CC-2PフレームワークでPRMを削除するとRMSEが38.3%、MAEが43.75%上昇したことが確認され、PRMの中心的役割が裏付けられた。
• 定性的な結果から、本手法は直接回帰や密度マップ推定ベースラインと比較して、真値にはるかに近い集団推定を生成することが分かった。