[論文レビュー] Crowd Scene Analysis by Output Encoding

Yao Xue, Siming Liu+2 more|arXiv (Cornell University)|Jan 27, 2020

Anomaly Detection Techniques and Applications参考文献 49被引用数 4

ひとこと要約

本稿では、圧縮感知に基づく出力符号化（CSOE）フレームワークを提案し、群衆の局所化を圧縮符号化空間における信号回帰として扱うことにより、極めて混雑したシーンにおける局所化精度を顕著に向上させる。MDCBとARFWを統合することで、大規模なスケール変動に対処でき、4つのベンチマークデータセットで最先端の性能を達成し、特に密集群衆の状況で優れた性能を発揮する。

ABSTRACT

Crowd scene analysis receives growing attention due to its wide applications. Grasping the accurate crowd location (rather than merely crowd count) is important for spatially identifying high-risk regions in congested scenes. In this paper, we propose a Compressed Sensing based Output Encoding (CSOE) scheme, which casts detecting pixel coordinates of small objects into a task of signal regression in encoding signal space. CSOE helps to boost localization performance in circumstances where targets are highly crowded without huge scale variation. In addition, proper receptive field sizes are crucial for crowd analysis due to human size variations. We create Multiple Dilated Convolution Branches (MDCB) that offers a set of different receptive field sizes, to improve localization accuracy when objects sizes change drastically in an image. Also, we develop an Adaptive Receptive Field Weighting (ARFW) module, which further deals with scale variation issue by adaptively emphasizing informative channels that have proper receptive field size. Experiments demonstrate the effectiveness of the proposed method, which achieves state-of-the-art performance across four mainstream datasets, especially achieves excellent results in highly crowded scenes. More importantly, experiments support our insights that it is crucial to tackle target size variation issue in crowd analysis task, and casting crowd localization as regression in encoding signal space is quite effective for crowd analysis.

研究の動機と目的

• 密度ベースの手法が個々の物体の局所化に失敗するほどの極度に混雑したシーンにおける正確な群衆局所化の課題に対処すること。
• 直接ピクセル座標回帰に起因する位置ずれおよびサイズスケーリング誤差を克服すること。
• 単一の画像内で人間の頭部サイズの大きなスケール変動に対して頑健性を向上させること。
• 物体が密に詰め込まれて隠蔽されている状況でも高い局所化精度を維持できる手法を開発すること。
• 群衆シーンにおける局所化を符号化信号空間における回帰として定式化することは、直接座標予測よりも効果的であることを検証すること。

提案手法

• CSOEモジュールは、スパースな群衆位置（頭部重心）を圧縮された密度の高い信号ベクトルに符号化し、局所化タスクを信号回帰問題に変換する。
• CNN回帰器が圧縮信号ベクトルを予測し、その後、再構成アルゴリズムを用いてスパースなピクセル座標に再構成する。
• 複数の拡張畳み込みブランチ（MDCB）を導入し、複数の固定受容野サイズを提供することで、さまざまなオブジェクトスケールにおける検出を向上させる。
• 適応的受容野重み付け（ARFW）は、オブジェクトスケールに最も適した受容野を持つ特徴チャネルを動的に強調することで、一般化性能を向上させる。
• 圧縮センシングの原則に従い、空間的関係を保持するためのスパース再構成損失を用いて、エンドツーエンドでモデルを訓練する。
• オブジェクト中心部における特徴学習を強化するため、センター・プーリングを適用し、局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 圧縮感知による出力空間の圧縮は、直接座標回帰と比較して、極めて混雑したシーンにおける局所化精度を向上させるか？
• RQ2 単一の画像内で人間の頭部サイズの大きな変動に対処するために、複数の拡張畳み込みブランチを用いることはどの程度有効か？
• RQ3 スケールに基づいて受容野の重みを適応的に付与することは、複雑な群衆シーンにおける局所化性能を向上させるか？
• RQ4 提案手法は、多様なデータセットにおけるカウントおよび局所化タスクにおいて、既存の最先端手法をどの程度上回るか？
• RQ5 CSOE、MDCB、ARFWの組み合わせは、特に高密度状況において相乗効果を発揮するか？

主な発見

• 完全なモデル（CSOE + MDCB + CP + ARFW）は、ShanghaiTech（Sh-A）データセットでF1スコア0.831を達成し、すべてのアブレーション設定を上回った。
• ShanghaiTech（Sh-B）データセットではF1スコア0.834を達成し、異なる群衆密度にわたる強力な一般化性能を示した。
• ARFWモジュールはMDCBと組み合わせることで、適応的重み付けのない設定と比較してF1スコアを0.027～0.045ポイント向上させ、スケール対処における有効性を確認した。
• MDCB+ARFW設定は、すべての二成分設定の中で最高のF1スコアを達成し、スケール変動が群衆局所化において重要な要因であることを示した。
• アブレーションスタディの結果、CSOE単体が単一構成要素設定の中で最高のパフォーマンスを示し、信号空間回帰がピクセル空間回帰よりも効果的であるという核心的洞察を裏付けた。
• 本モデルは、ShanghaiTech、UCF、WorldExpoの4つのベンチマークデータセットすべてで最先端の性能を達成した。特に、従来手法が失敗する高密度シーンにおいて顕著な優位性を示した。