[論文レビュー] LDC-Net: A Unified Framework for Localization, Detection and Counting in Dense Crowds

Qi Wang, Tao Han+3 more|arXiv (Cornell University)|Oct 10, 2021

Video Surveillance and Tracking Methods参考文献 58被引用数 7

ひとこと要約

LDC-Net は、極めて密集したシーンにおける同時的な群衆の局所化、検出、カウントを統合的に処理する深層学習フレームワークを提案する。最小限のパラダイムに基づき、位置とサイズマップを予測する新規の OUSR 損失関数とバイナリゼーションモジュールを採用し、検出性能（HRNet で 87.9 AP）において最先端の性能を達成するとともに、カウント精度も競争力を持ち、従来手法と比較して顕著に計算複雑度を低減した。

ABSTRACT

The rapid development in visual crowd analysis shows a trend to count people by positioning or even detecting, rather than simply summing a density map. It also enlightens us back to the essence of the field, detection to count, which can give more abundant crowd information and has more practical applications. However, some recent work on crowd localization and detection has two limitations: 1) The typical detection methods can not handle the dense crowds and a large variation in scale; 2) The density map heuristic methods suffer from performance deficiency in position and box prediction, especially in high density or large-size crowds. In this paper, we devise a tailored baseline for dense crowds location, detection, and counting from a new perspective, named as LDC-Net for convenience, which has the following features: 1) A strong but minimalist paradigm to detect objects by only predicting a location map and a size map, which endows an ability to detect in a scene with any capacity ($0 \sim 10,000+$ persons); 2) Excellent cross-scale ability in facing a large variation, such as the head ranging in $0 \sim 100,000+$ pixels; 3) Achieve superior performance in location and box prediction tasks, as well as a competitive counting performance compared with the density-based methods. Finally, the source code and pre-trained models will be released.

研究の動機と目的

• 群衆シーンにおける極度の密度と大規模なスケール変動に対処する現行手法の限界を解消すること。
• 局所化、検出、カウントの3つの関連タスクを統合的に1つの一貫したフレームワークに統合し、実用的利便性を向上させること。
• 密度ベースの手法（位置・スケール情報の欠如）と従来の検出器（密な群衆での性能劣化）の欠点を克服すること。
• 実時間デプロイメントに適した強力なスケール間一般化能力と最小限の計算オーバーヘッドを持つモデルを開発すること。
• 密な群衆において、最小 0–100 ピクセルの小さな頭部と最大 100,000+ ピクセルの大きなバウンディングボックスを正確に検出できること。

提案手法

• インスタンスレベルの局所化を可能にする独立インスタンスマップ（IIM）を基盤とし、インスタンスセグメンテーションを必要とせずに検出を実現する。
• 位置マップ（頭部の中心を示す）とサイズマップ（頭部の寸法（幅と高さ）を推定）の2つの主要なマップを予測する。
• 位置とサイズ予測の最適化を図るための新規な OUSR 損失関数を導入し、検出精度を向上させ、誤検出を低減する。
• 適応的しきい値処理と非最大抑制を用いて予測されたサイズマップを正確なバウンディングボックスに変換する新規なバイナリゼーションモジュールを設計する。
• 高速な推論と低コストの MAC（マルチプレックスアレイコア）を維持するため、軽量バックボーン（例：HRNet、VGG16）を採用し、実時間デプロイメントを可能にする。
• 転移学習を適用して、モデルが顔検出タスクに適応できることを示し、群衆カウントを超えた汎用性を実証する。

実験結果

リサーチクエスチョン

• RQ1 統合フレームワークは、同時に群衆の局所化、検出、カウントにおいて最先端の性能を達成できるか？
• RQ2 提案された位置とサイズマップ予測パラダイムは、極度の密度とスケール変動下でも効果を発揮するか？
• RQ3 OUSR 損失関数とバイナリゼーションモジュールは、標準の検出法や密度ベースの手法と比較して、どの程度検出精度を向上させるか？
• RQ4 アノテーションタイプ（例：ポイントレベル対ボックスレベル）や極端なオブジェクトスケールが異なるデータセット間でも、モデルは一般化可能か？
• RQ5 密な群衆シナリオにおいて、提案手法は既存の最先端検出器と比較してどの程度計算効率が優れているか？

主な発見

• HRNet を用いた WIDER FACE 開発セットにおいて、LDC-Net は 87.9 AP を達成し、TinyFaces よりも 25% の向上を示し、LSC-CNN よりも大きく上回った。
• 評価曲線のエンvelope 面積が最大であることを示しており、再現率の閾値が変化しても精度と再現率のバランスが良好であることが裏付けられ、耐障害性が確認された。
• LDC-Net は MAC を 372.7G（HRNet 搭載時）にまで低減し、1枚あたりの推論時間を 150ms まで短縮した。これは、LSC-CNN（4634ms）を大きく上回り、TopoCount（95ms）に対しても高速かつ効率的であることを示している。
• 後処理時間は CPU で 33ms であり、これが主なボトルネックであるため、この段階の最適化によりさらに推論速度を向上できる可能性がある。
• 顔検出タスクに対しても良好な汎用性を示し、WIDER FACE で 86.0 AP の競争力ある性能を達成した。これは、群衆カウントを超えた移行可能性を実証している。
• 極めて密集したシーン（例：1,000 人以上）でも優れた検出性能を発揮し、0–100,000+ ピクセルの大きなスケール変動に対しても効果的に対応している。