[論文レビュー] AutoScale: Learning to Scale for Crowd Counting and Localization

Chenfeng Xu, Dingkang Liang+5 more|arXiv (Cornell University)|Dec 20, 2019

Video Surveillance and Tracking Methods参考文献 114被引用数 7

ひとこと要約

本稿では、密な群衆における人々の間の見かけの近接度を調整することで、画像領域を自動的に正規化する新しい「L2S（Learning to Scale）」モジュールであるAutoScaleを提案する。これにより、長尾分布を緩和し、パターンのシフトを軽減する。動的かつ再スケーリングされた密な領域を用いることで、密度マップ回帰と人物定位の両方を向上させ、複数の群衆数え上げベンチマークで最先端の性能を達成し、データセット全体にわたる一貫した向上効果を示す。

ABSTRACT

Recent works on crowd counting mainly leverage CNNs to count by regressing density maps, and have achieved great progress. In the density map, each person is represented by a Gaussian blob, and the final count is obtained from the integration of the whole map. However, it is difficult to accurately predict the density map on dense regions. A major issue is that the density map on dense regions usually accumulates density values from a number of nearby Gaussian blobs, yielding different large density values on a small set of pixels. This makes the density map present variant patterns with significant pattern shifts and brings a long-tailed distribution of pixel-wise density values. We propose a simple and effective Learning to Scale (L2S) module, which automatically scales dense regions into reasonable closeness levels (reflecting image-plane distance between neighboring people). L2S directly normalizes the closeness in different patches such that it dynamically separates the overlapped blobs, decomposes the accumulated values in the ground-truth density map, and thus alleviates the pattern shifts and long-tailed distribution of density values. This helps the model to better learn the density map. We also explore the effectiveness of L2S in localizing people by finding the local minima of the quantized distance (w.r.t. person location map). To the best of our knowledge, such a localization method is also novel in localization-based crowd counting. We further introduce a customized dynamic cross-entropy loss, significantly improving the localization-based model optimization. Extensive experiments demonstrate that the proposed framework termed AutoScale improves upon some state-of-the-art methods in both regression and localization benchmarks on three crowded datasets and achieves very competitive performance on two sparse datasets.

研究の動機と目的

• 密な領域における重なり合うガウス型ボリュームが原因で生じる群衆密度マップの長尾分布およびパターンシフトを是正すること。
• 従来の密度マップ回帰が値の蓄積により失敗するほど混雑した状況における群衆数え上げの正確性を向上させること。
• 量子化された距離マップにおける局所的最小値を特定することで、人物の位置を同定するという、定位ベースの群衆数え上げにおいて画期的な手法を提供すること。
• 定位ベースのモデルの最適化を向上させるために、動的クロスエントロピー損失を導入すること。
• 複数のデータセットおよびベースラインモデルにわたる汎用性と一貫した向上効果を実証すること。

提案手法

• L2Sモジュールは、画像の各パッチごとにスケール係数を学習し、人々の間の近接度レベルを正規化することで、密な領域における蓄積された密度値を効果的に分解する。
• L2Sは、自己教師付きクラスタリングの形で中心損失を用い、密な領域を類似した適切な近接度レベルにグループ化することで、分布のギャップを低減する。
• 学習されたスケール係数を用いて、教師強度の密度マップおよび予測マップを再スケーリングすることで、パターンシフトと長尾分布の低減を実現する。
• 定位のため、密度マップから導出された量子化された距離マップにおける局所的最小値を検出することで、人物の位置を同定する。
• 訓練の安定性と定位精度を向上させるために、カスタマイズされた動的クロスエントロピー損失を導入する。
• 本フレームワークは、既存の回帰および定位ベースのベースラインと互換性があり、即座に統合可能な改善効果を提供する。

実験結果

リサーチクエスチョン

• RQ1 密な群衆領域のスケーリングを学習することで、群衆数え上げにおけるピクセル単位の密度値の長尾分布を軽減できるか？
• RQ2 人々の間の近接度レベルを正規化することで、極めて混雑した状況における密度マップ予測精度が向上するか？
• RQ3 提案されたL2Sモジュールは、回帰ベースおよび定位ベースの両方の群衆数え上げに効果的に適用可能か？
• RQ4 動的クロスエントロピー損失は、標準的なクロスエントロピーと比較して、どのように定位性能を向上させるか？
• RQ5 AutoScaleは、多様な群衆数え上げデータセットにどの程度一般化可能か？

主な発見

• AutoScaleは、上海技術大学Part A（60.5 MAE）、JHU-Crowd++（76.1 MAE）、JHU-Crowd（76.4 MAE）という3つの混雑度の高いデータセットで最先端の性能を達成し、先行手法を上回る。
• 定位ベースのAutoScaleバージョンは、上海技術大学Part Aで65.8 MAE、JHU-Crowd++で85.6 MAEを達成し、優れた定位能力を示している。
• 1つの領域ではなく、最大2つの領域を精錬することで、MAEは0.7未満、MSEは2.8未満のわずかな向上にとどまり、追加の精錬による利益は限定的である。
• L2Sモジュールは、複数のベースラインモデルにわたって一貫した性能向上を示しており、優れた汎用性と一般化能力を有している。
• 動的クロスエントロピー損失は、重なった人々が存在する複雑なシーンにおいて、特に定位精度を顕著に向上させる。
• AutoScaleは車両数え上げにも適応可能であり、群衆数え上げを超えた幅広い応用の可能性を示している。