[論文レビュー] Crowd Counting with Deep Structured Scale Integration Network

Lingbo Liu, Zhilin Qiu+4 more|arXiv (Cornell University)|Aug 23, 2019

Video Surveillance and Tracking Methods参考文献 45被引用数 36

ひとこと要約

DSSINetは、CRFベースの構造化特徴強化モジュールを用いてマルチスケールの群衆特徴を相互に洗練させ、拡張ディレーテッドマルチスケール構造相似性（DMS-SSIM）損失を導入して局所的な尺度整合性を強制し、複数のベンチマークで最先端の結果を達成します。

ABSTRACT

Automatic estimation of the number of people in unconstrained crowded scenes is a challenging task and one major difficulty stems from the huge scale variation of people. In this paper, we propose a novel Deep Structured Scale Integration Network (DSSINet) for crowd counting, which addresses the scale variation of people by using structured feature representation learning and hierarchically structured loss function optimization. Unlike conventional methods which directly fuse multiple features with weighted average or concatenation, we first introduce a Structured Feature Enhancement Module based on conditional random fields (CRFs) to refine multiscale features mutually with a message passing mechanism. In this module, each scale-specific feature is considered as a continuous random variable and passes complementary information to refine the features at other scales. Second, we utilize a Dilated Multiscale Structural Similarity loss to enforce our DSSINet to learn the local correlation of people's scales within regions of various size, thus yielding high-quality density maps. Extensive experiments on four challenging benchmarks well demonstrate the effectiveness of our method. Specifically, our DSSINet achieves improvements of 9.5% error reduction on Shanghaitech dataset and 24.9% on UCF-QNRF dataset against the state-of-the-art methods.

研究の動機と目的

• 群衆シーンにおける著しいスケール変動に対処するため、頑健なマルチスケール特徴表現を学習する。
• CRFベースの特徴洗練メカニズムを介して、スケール間で構造化情報の共有を活用する。
• 拡張MS-SSIMの定式化を用いて、さまざまなサイズの領域にわたる局所的なスケール相関を捉える損失を課す。
• 共有パラメータを持つサブネットワークを用いたサイド出力のトップダウンフュージョンを通じて、高品質な密度マップを生成する。

提案手法

• 同一画像の異なるスケールバージョンを処理する、パラメータを共有する3つの並列サブネットワークを使用。
• 条件付き確率場に基づくStructured Feature Enhancement Module（SFEM）を導入し、メッセージパッシング手法を介してマルチスケール特徴を相互に洗練させる。
• 洗練された特徴から複数のサイド出力密度マップを生成し、トップダウンで融合して高解像度の密度マップを得る。
• 固定ガウスカーネルと拡張畳み込みを用いて実装された拡張型ディレーテッドマルチスケール構造相似性（DMS-SSIM）損失を提案し、さまざまなサイズの領域に対するSSIMを測定する。
• DMS-SSIM損失を用いて、局所的なスケール相関とスケール間の密度マップの一貫性を強化する。

実験結果

リサーチクエスチョン

• RQ1 混雑したシーンにおける極端なスケール変動をよりうまく処理するために、マルチスケール特徴をどのように洗練させることができるか。
• RQ2 スケール固有の特徴間のCRFベースの相互洗練は、スケール変化に対する頑健性を向上させるか。
• RQ3 拡張MS-SSIM損失は、群衆カウントにおいて従来の損失よりも局所的なスケール相関をより適切に捉えるか。
• RQ4 標準的な群衆カウントベンチマークにおける提案手法DSSINetアーキテクチャの有効性と効率性はどの程度か。

主な発見

データセット/シナリオ	MAE	MSE
Shanghaitech Part A (Ours)	60.63	96.04
Shanghaitech Part B (Ours)	6.85	10.34
UCF-QNRF (Ours)	99.1	159.2
UCF_CC_50 (Ours)	216.9	302.4
WorldExpo’10 Ave (Ours)	6.67	6.67

• DSSINetは複数のベンチマークで最先端の性能を達成し、特にShanghaitech Part AでMAEを9.5%低減、UCF-QNRFでMAEを24.9%低減（論文の相対値）を達成している。
• SFEM（CRFベースの特徴洗練）は、単純なフュージョン手法と比較してマルチスケール特徴の頑健性を大幅に向上させる。
• 拡張畳み込みを用いたDMS-SSIM損失（拡張率m=5が最良と示される）は、最良のMAE/MSEをもたらし、ユークリッド距離およびSSIMベースの損失を上回る。
• 本モデルは8.858百万パラメータを使用し、1080 GPU上で720x576フレームあたり約450 msで動作し、バックボーンがパラメータの大半を占める。精度と複雑さのトレードオフに有利。