[論文レビュー] Adaptive Mixture Regression Network with Local Counting Map for Crowd Counting

Xiyang Liu, Jie Yang+1 more|arXiv (Cornell University)|May 12, 2020

Video Surveillance and Tracking Methods参考文献 34被引用数 11

ひとこと要約

本論文は、集団計数における学習損失（点対点の密度マップ誤差）と評価指標（グローバルな集団数）の不一致を解消するため、新しい局所カウントマップ（LCM）を目的関数に用いた適応的混合回帰ネットワークを提案する。従来の密度マップの代わりに局所パッチ内の人数を表すLCMを用い、スケールに敏感で、混合回帰および適応的ソフトインターバルモジュールを統合した粗〜細かいフレームワークを採用することで、ShanghaiTechデータセットにおいて最先端の性能を達成し、Part AではMAEを61.59、Part Bでは7.02まで低減した。

ABSTRACT

The crowd counting task aims at estimating the number of people located in an image or a frame from videos. Existing methods widely adopt density maps as the training targets to optimize the point-to-point loss. While in testing phase, we only focus on the differences between the crowd numbers and the global summation of density maps, which indicate the inconsistency between the training targets and the evaluation criteria. To solve this problem, we introduce a new target, named local counting map (LCM), to obtain more accurate results than density map based approaches. Moreover, we also propose an adaptive mixture regression framework with three modules in a coarse-to-fine manner to further improve the precision of the crowd estimation: scale-aware module (SAM), mixture regression module (MRM) and adaptive soft interval module (ASIM). Specifically, SAM fully utilizes the context and multi-scale information from different convolutional features; MRM and ASIM perform more precise counting regression on local patches of images. Compared with current methods, the proposed method reports better performances on the typical datasets. The source code is available at https://github.com/xiyang1012/Local-Crowd-Counting.

研究の動機と目的

• 集団計数における学習目的（密度マップ損失）と評価基準（グローバルカウント合計）の不一致を是正すること。
• 評価指標とより整合性の高い新たな学習ターゲット、すなわち局所カウントマップ（LCM）を導入することで、計数精度を向上させること。
• 局所的およびマルチスケール特徴の活用を強化する、粗〜細かい適応的混合回帰フレームワークの開発。
• 学習ターゲットの整合性向上とアーキテクチャ設計の最適化を通じて、ベンチマーク集団計数データセットで最先端の性能を達成すること。

提案手法

• 各値が局所画像パッチ内の人数を表す、従来の密度確率とは異なり、局所カウントマップ（LCM）と呼ばれる新しい学習ターゲットを提案。
• スケールに敏感なモジュール（SAM）、混合回帰モジュール（MRM）、適応的ソフトインターバルモジュール（ASIM）の3モジュールからなる適応的混合回帰フレームワークを導入。
• 粗〜細かい戦略を採用：SAMが複数の畳み込み層からの特徴を処理して文脈豊かな表現を生成し、その後MRMとASIMが局所パッチ上で特徴を精緻化する。
• ASIMにおける適応的ソフトインターバル分割により、特徴の信頼度に応じて動的に回帰インターバルを調整し、局所推定の精度を向上。
• LCMターゲット上でL1/L2損失を用いてモデルを学習し、アブレーションスタディにより各モジュールの寄与度を確認。
• 精度と計算コストのバランスを考慮し、パッチサイズと混合成分数（K=3）を最適化。

実験結果

リサーチクエスチョン

• RQ1 密度マップの代わりに局所カウントマップ（LCM）を学習ターゲットとして採用することで、評価指標との整合性が向上し、計数精度が向上するか？
• RQ2 SAM、MRM、ASIMモジュールを備えた粗〜細かい適応的混合回帰フレームワークは、局所的およびグローバルな集団計数性能を向上させられるか？
• RQ3 局所パッチサイズおよび混合成分数（K）の選定が、モデルの精度と効率に与える影響は何か？
• RQ4 提案手法は、ShanghaiTech Part AおよびPart Bのような標準的な集団計数ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法は、ShanghaiTech Part Aで61.59、Part Bで7.02という新たな最先端のMAEを達成し、従来手法を顕著に上回った。
• LCMベースの学習ターゲットは、ベースラインの密度マップ手法（Part Aでは72.98対69.52）と比較してMAEを11.36低下させ、評価基準との整合性が向上したことを示した。
• アブレーションスタディにより、各モジュールが段階的に寄与していることが確認された：MRMでMAEは69.52から65.24に低下、ASIMで63.85に、SAMで61.59にまで低下した（Part A）。
• 最適な局所パッチサイズは64×64と判明した。これより小さいサイズ（例：16×16）は十分な文脈を欠き、大きなサイズ（例：128×128）は精度を低下させる。
• 最適な混合成分数（K）は3であり、Kをこれ以上に増やすと利得は微増し、モデルの複雑性が増加する。
• LCMを用いた学習は、密度マップ学習と比較して滑らかな収束と低いテスト誤差を示した。MAEおよびMSEの損失曲線からもその妥当性が裏付けられた。