[論文レビュー] Rethinking Counting and Localization in Crowds:A Purely Point-Based Framework

Qingyu Song, Changan Wang+7 more|arXiv (Cornell University)|Jul 27, 2021

Video Surveillance and Tracking Methods参考文献 46被引用数 23

ひとこと要約

本論文は、密度マップや疑似バウンディングボックスに依存する従来手法の限界を克服するため、点アノテーションに基づく完全なポイントベースのフレームワークを提案する。Point-to-Point Network (P2PNet) は、中間表現を経由せずに直接頭部の位置をポイントとして予測する。本手法は、新しい密度正規化平均精度（nAP）指標とハンガリアン・アルゴリズムを用いた1対1マッチングにより、状態を凌駕する計数精度と優れた局所化性能を達成する。

ABSTRACT

Localizing individuals in crowds is more in accordance with the practical demands of subsequent high-level crowd analysis tasks than simply counting. However, existing localization based methods relying on intermediate representations ( extit{i.e.}, density maps or pseudo boxes) serving as learning targets are counter-intuitive and error-prone. In this paper, we propose a purely point-based framework for joint crowd counting and individual localization. For this framework, instead of merely reporting the absolute counting error at image level, we propose a new metric, called density Normalized Average Precision (nAP), to provide more comprehensive and more precise performance evaluation. Moreover, we design an intuitive solution under this framework, which is called Point to Point Network (P2PNet). P2PNet discards superfluous steps and directly predicts a set of point proposals to represent heads in an image, being consistent with the human annotation results. By thorough analysis, we reveal the key step towards implementing such a novel idea is to assign optimal learning targets for these proposals. Therefore, we propose to conduct this crucial association in an one-to-one matching manner using the Hungarian algorithm. The P2PNet not only significantly surpasses state-of-the-art methods on popular counting benchmarks, but also achieves promising localization accuracy. The codes will be available at: https://github.com/TencentYoutuResearch/CrowdCounting-P2PNet.

研究の動機と目的

• 密度マップや疑似バウンディングボックスに依存する従来の集計手法の限界（直感的でなく、誤差が生じやすい）を是正すること。
• 点アノテーションを学習ターゲットとして直接使用することで、集計と個々の人物の局所化の両面で直感的で高精度なアプローチを構築すること。
• 集計誤差と局所化誤差の両方を考慮した包括的な評価指標を設計し、特に異なる混雑度下での性能を的確に評価すること。
• 推論時に信頼度スコアを伴ってポイントベースの頭部位置を予測する、シンプルだが効果的なディープラーニングアーキテクチャ、P2PNetを設計すること。
• ハンガリアン・アルゴリズムを用いた1対1マッチングが、局所化精度とnAPの向上に不可欠であることを実証すること。

提案手法

• フレームワークは点アノテーションを真値ターゲットとして使用し、推論時に個々の頭部位置を表すポイント提案の集合を直接予測する。
• 密度変動に強く、重複予測をペナルティ化するため、局所化と集計性能を統合的に評価する新しい指標、密度正規化平均精度（nAP）を提案する。
• ポイントからポイントへのネットワーク（P2PNet）は、単一スケールの特徴マップを用いて、ポイント座標と信頼度スコアを回帰する。基準点はグリッドまたはレイアウトからサンプリングされる。
• 主なイノベーションは、ハンガリアン・アルゴリズムを用いて予測されたポイント提案と真値ポイントを1対1でマッチングさせることで、最適な関連付けを保証し、曖昧または矛盾する監視を回避することにある。
• マッチングされない提案はネガティブと分類され、この微分可能なマッチングプロセスを用いてエンドツーエンドでモデルを学習することで、局所化と集計精度の両方を向上させる。
• 密度マップや疑似ボックスなどの中間表現を避けることで、パイプラインを単純化し、誤差伝搬を低減する。

実験結果

リサーチクエスチョン

• RQ1 完全にポイントベースのフレームワークは、単純さと効率を保ちながら、従来手法を上回る集計と個々の人物局所化性能を達成できるか？
• RQ2 特に異なる混雑度下で、局所化と集計性能を統合的に評価できる包括的な評価指標をどのように設計できるか？
• RQ3 学習段階で予測されたポイント提案と真値ポイントを関連付ける最適な戦略は何か？これにより、集計値の過小または過大評価を回避できるか？
• RQ4 ハンガリアン・アルゴリズムを用いた1対1マッチングは、1対多や多対1の関連付けに比べて、局所化精度を顕著に向上させるか？
• RQ5 適切なターゲット割り当てと新規評価指標を組み合わせた場合、単一スケールの特徴マップに基づくシンプルなアーキテクチャが、状態を凌駆する性能を達成できるか？

主な発見

• P2PNetは、すべての主要ベンチマークで最先端の性能を達成し、ShanghaiTech PartAでは2番目に良い手法ADSCNetと比較してMAEを4.8%、MSEを12.9%低減した。
• UCF_CC_50ではMAEが85.32を記録し、前回最良手法のADSCNetを大きく上回り、2番目に良い手法と比較して2.1の誤差低減を達成した。
• 挑戦的なUCF-QNRFデータセットでは、MAEが85.32にまで低下し、以前の最良手法AMSNetを下回った。これは、多様な混雑度にわたる優れた一般化性能を示している。
• NWPU-Crowdでは、単一スケール特徴マップを用いながらも、MAEが最も低く、2番目に良い手法DM-Countと比較して12.4%の低減を達成した。
• アブレーションスタディの結果、ハンガリアン・アルゴリズムによる1対1マッチングがnAPを顕著に向上させ、ストライド4で最高のnAPδ 66.8を記録し、より高い局所化精度を示した。
• グリッドレイアウトの基準点はセンター・レイアウトをわずかに上回り、nAPδ 64.4 対 61.7 となり、混雑領域で有益な高密度サンプリングが寄与した。