[論文レビュー] Context-Aware Crowd Counting

Weizhe Liu, Mathieu Salzmann+1 more|arXiv (Cornell University)|Nov 26, 2018

Video Surveillance and Tracking Methods参考文献 43被引用数 6

ひとこと要約

本稿では、空間的に変化するスケールの文脈をモデル化するため、複数の受容 field 特徴を適応的に組み合わせるエンド・ツー・エンドで学習可能な深層アーキテクチャを提案する。視覚的歪みが強い状況下でも顕著に精度が向上する。特に、位置に応じた特徴の重要度を学習することで、視覚的歪みの影響を効果的に補償する。本手法は、ShanghaiTech、UCF_QNRF、および視覚的歪みが顕著な新しいバーチャン・データセットを含む複数のベンチマークで、最先端のモデルを上回る性能を発揮する。

ABSTRACT

State-of-the-art methods for counting people in crowded scenes rely on deep networks to estimate crowd density. They typically use the same filters over the whole image or over large image patches. Only then do they estimate local scale to compensate for perspective distortion. This is typically achieved by training an auxiliary classifier to select, for predefined image patches, the best kernel size among a limited set of choices. As such, these methods are not end-to-end trainable and restricted in the scope of context they can leverage. In this paper, we introduce an end-to-end trainable deep architecture that combines features obtained using multiple receptive field sizes and learns the importance of each such feature at each image location. In other words, our approach adaptively encodes the scale of the contextual information required to accurately predict crowd density. This yields an algorithm that outperforms state-of-the-art crowd counting methods, especially when perspective effects are strong.

研究の動機と目的

• 視覚的歪みによる空間的に変化するスケールを考慮できない固定受容 field の畳み込みの限界を是正すること。
• 各画像位置における文脈的情報の最適なスケールを学習可能なエンド・ツー・エンドで学習可能なアーキテクチャを構築すること。
• 高密度かつ視覚的歪みが強いシーンにおける密度推定の精度を向上させること。特に、キャリブレーションが不完全またはモバイルカメラで撮影された状況を想定。
• 利用可能な幾何的キャリブレーションデータを統合することで、局所的なスケール推定を精緻化し、性能をさらに向上させること。

提案手法

• 複数の異なるサイズの畳み込み受容 field を用いて、マルチスケールの文脈を捉える特徴を抽出する。
• 各スケールの特徴マップに対して、空間的に変化する学習可能な重みマップを学習し、局所的な画像文脈に基づいた適応的統合を可能にする。
• コントラストに基づく重み付け機構を導入し、注目度の重みを計算することで、ネットワークの関連する文脈的スケールを識別する能力を向上させる。
• 密度マップに対する標準的な回帰損失を用いてエンド・ツー・エンドで学習する。補助分類器やパッチ単位のスケール予測を必要としない。
• キャリブレーションデータが利用可能な場合、ホモグラフィーに基づく幾何的制約を導入し、局所的なスケール推定を精緻化する。
• デコーダー部分は重み付けされたマルチスケール特徴を用いて、最終的な集団密度マップを予測する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのディープラーニングモデルは、視覚的歪み下でも、マルチスケール特徴を適応的に統合することで、集団数え上げの精度を向上させることができるか？
• RQ2 空間的に変化する特徴の重要度を学習する手法は、固定またはパッチベースのスケール選択と比較して、集団数え上げにおいてどのように優れているか？
• RQ3 幾何的キャリブレーションデータを統合することで、視覚的歪みが強いシーンでの性能はどの程度向上するか？
• RQ4 コントラストに基づく特徴重み付けの使用は、関連する文脈的スケールを適切に選択する能力を向上させるか？
• RQ5 本モデルは、キャリブレーションが不完全な実世界のシーン、特に強い視覚的歪みが生じる状況にも一般化可能か？

主な発見

• ShanghaiTech Part A データセットでは、提案手法（OURS-CAN）が MAE 23.5、RMSE 38.9 を達成し、CSRNet（35.8 MAE）および MCNN（145.4 MAE）を上回る性能を示した。
• UCF_QNRF データセットでは、OURS-CAN が MAE 20.5、RMSE 29.9 を達成し、先行する最先端手法を顕著に上回った。
• キャリブレーションデータを用いた場合（バーチャンデータセット）、OURS-ECAN はさらに MAE を 20.5、RMSE を 29.9 に低下させ、幾何的事前知識の有効性を示した。
• アブレーションスタディの結果、特徴の連結とコントラストに基づく重み付けの両方が性能向上に顕著な寄与を示し、完全なモデル（OURS-CAN）は単純なベースラインを大きく上回った。
• 可視化分析（図 7）により、モデルの予測が視覚的歪みに適切に補正されており、地面平面の正解密度と整合していることが確認された。
• 特に視覚的歪みが顕著なバーチャンデータセットにおいて、高密度領域や強い視覚的歪み下でも優れた性能を発揮した。