[論文レビュー] PCC Net: Perspective Crowd Counting via Spatial Convolutional Network

Junyu Gao, Qi Wang+1 more|arXiv (Cornell University)|May 24, 2019

Video Surveillance and Tracking Methods参考文献 39被引用数 4

ひとこと要約

本稿では、密度マップ推定、ランダムなハイレベル密度分類、およびフォアグラウンド/バックグラウンドセグメンテーションを統合する、パースペクティブに配慮した集団数え上げのためのマルチタスクディープラーニングフレームワーク、PCC Netを提案する。方向性パースペクティブ符号化モジュール（DULR）を導入し、マルチスケール特徴学習を活用することで、Shanghai Techデータセットで最先端の性能を達成し、他の4つのデータセットでも競争力ある結果を示した。特に、極度に混雑したシーンにおける正確性が著しく向上し、バックグラウンド領域の誤推定が低減された。

ABSTRACT

Crowd counting from a single image is a challenging task due to high appearance similarity, perspective changes and severe congestion. Many methods only focus on the local appearance features and they cannot handle the aforementioned challenges. In order to tackle them, we propose a Perspective Crowd Counting Network (PCC Net), which consists of three parts: 1) Density Map Estimation (DME) focuses on learning very local features for density map estimation; 2) Random High-level Density Classification (R-HDC) extracts global features to predict the coarse density labels of random patches in images; 3) Fore-/Background Segmentation (FBS) encodes mid-level features to segments the foreground and background. Besides, the DULR module is embedded in PCC Net to encode the perspective changes on four directions (Down, Up, Left and Right). The proposed PCC Net is verified on five mainstream datasets, which achieves the state-of-the-art performance on the one and attains the competitive results on the other four datasets. The source code is available at https://github.com/gjy3035/PCC-Net.

研究の動機と目的

• 単一画像における集団数え上げの課題、すなわちパースペクティブ歪み、外見の類似性、および深刻な混雑状態に対処すること。
• フォアグラウンドとバックグラウンドの区別を向上させることで、木や構造物などの背景領域が人間として誤って推定されるのを減らすこと。
• 上、下、左、右の4方向におけるパースペクティブの変化を明示的に符号化することで、密度マップの一貫性を向上させること。
• 階層的特徴学習とマルチタスク監視を活用し、極度に混雑した領域における局所的密度推定を改善すること。
• ランダムな画像パッチを用いた高レベル密度分類のための柔軟でデータ拡張を施したトレーニング戦略の開発。

提案手法

• PCC Netは3本の並列ブランチを採用する：ピクセル単位の密度予測のための密度マップ推定（DME）、ランダムな画像パッチの粗い密度ラベル付けのためのランダムハイレベル密度分類（R-HDC）、ヘッド領域とバックグラウンドの区別を目的としたフォアグラウンド/バックグラウンドセグメンテーション（FBS）。
• DULRモジュールはDMEおよびFBSブランチに埋め込まれ、4方向（下、上、左、右）の方向特徴をモデル化することで、パースペクティブの変化を符号化する。
• R-HDCはトレーニング中に動的サンプリング戦略を用いる：フル画像からランダムにパッチを抽出し、粗い密度ラベルを割り当てることで、事前に定義されたトレーニングセットが不要な多様で適応的な監視を可能にする。
• FBSは、元のデータセットにこのようなアノテーションが存在しないため、画像のモルフォロジー演算を用いてヘッド領域のための疑似セグメンテーションマスクを生成する。これにより、フォアグラウンドとバックグラウンドの特徴の区別が向上する。
• マルチタスク学習は共有バックボーンを介して共同最適化され、DME（L1損失）、R-HDC（交差エントロピー）、FBS（バイナリ交差エントロピー）の損失関数が用いられ、タスク間での特徴転送が可能になる。
• モデルは5つのベンチマークデータセット上でエンドツーエンドにトレーニングされ、収束速度と安定性のバランスを取るためにROI数（20）を最適化したハイパーパrameterが設定された。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークは、局所的密度推定、グローバルコンテキスト、フォアグラウンド/バックグラウンドセグメンテーションを同時にモデル化することで、集団数え上げの正確性を向上させることができるか？
• RQ2 方向性パースペクティブ符号化モジュール（DULR）は、2次元集団画像におけるパースペクティブ歪みによって生じる誤差をどれほど効果的に軽減できるか？
• RQ3 固定されたトレーニングセットではなく、動的かつランダムにサンプリングされた画像パッチを用いた高レベル分類は、一般化性能を向上させるか？
• RQ4 フォアグラウンド/バックグラウンドセグメンテーションは、木や電柱などの非人間対象が人間として誤って推定されるのをどの程度低減できるか？
• RQ5 真のアノテーションが存在しない状況下で、効果的な疑似セグメンテーションマスクを生成するためのモルフォロジーパラメータの最適な設定は何か？

主な発見

• PCC NetはShanghai Tech Bデータセットで10.9の最新の平均絶対誤差（MAE）を達成し、先行手法を上回った。
• Shanghai Tech Aデータセットでは、PCC NetはMAE 73.4、MSE 124.0を達成し、最適なセグメンテーションパラメータを用いた場合、NoSegベースライン（MAE 79.3、MSE 129.5）を著しく上回った。
• DULRモジュールはパースペクティブの変化を効果的に符号化し、混雑領域における過剰推定を低減した。視覚的比較において赤枠で囲まれた領域での誤差が低いことが裏付けられた。
• 20個のランダムROIを用いたR-HDCモジュールは、収束が早く安定したトレーニングを示し、5または300のROIを用いた設定よりもトレーニングのダイナミクスおよび最終的な性能で優れた結果を出した。
• FBSブランチはバックグラウンドの誤推定を低減した：PCC Netは木や構造物を正しく非人間として識別しているが、CP-CNN や CSRNet は頻繁にそれらを集団として誤分類している。
• セグメンテーションマスクのパラメータ設定が10〜60ピクセルの範囲で安定しており、最適な結果は50〜60ピクセルで得られた。極端な値（例：150ピクセル）では、特徴の区別能が損なわれ、性能が低下した。