[論文レビュー] Feature-aware Adaptation and Density Alignment for Crowd Counting in Video Surveillance

Junyu Gao, Yuan Yuan+1 more|arXiv (Cornell University)|Dec 8, 2019

Video Surveillance and Tracking Methods参考文献 73被引用数 8

ひとこと要約

本稿では、実世界の監視シーンへの一般化を向上させるために合成データを活用する、集団数え上げのドメイン適応フレームワークを提案する。マルチレベル特徴aware適応（MFA）によりドメイン間の特徴を整合させるとともに、構造的密度マップ整合化（SDA）により出力密度マップを精緻化することで、複数の実世界データセットで最先端の性能を達成し、従来の教師なし適応手法と比較して誤差率を顕著に低減した。

ABSTRACT

With the development of deep neural networks, the performance of crowd counting and pixel-wise density estimation are continually being refreshed. Despite this, there are still two challenging problems in this field: 1) current supervised learning needs a large amount of training data, but collecting and annotating them is difficult; 2) existing methods can not generalize well to the unseen domain. A recently released synthetic crowd dataset alleviates these two problems. However, the domain gap between the real-world data and synthetic images decreases the models' performance. To reduce the gap, in this paper, we propose a domain-adaptation-style crowd counting method, which can effectively adapt the model from synthetic data to the specific real-world scenes. It consists of Multi-level Featureaware Adaptation (MFA) and Structured Density map Alignment (SDA). To be specific, MFA boosts the model to extract domain-invariant features from multiple layers. SDA guarantees the network outputs fine density maps with a reasonable distribution on the real domain. Finally, we evaluate the proposed method on four mainstream surveillance crowd datasets, Shanghai Tech Part B, WorldExpo'10, Mall and UCSD. Extensive experiments evidence that our approach outperforms the state-of-the-art methods for the same cross-domain counting problem.

研究の動機と目的

• 監視応用における実世界のアノテート済み集団データの不足に起因する課題に対処すること。
• 合成データと実世界の集団シーンの間のドメインギャップを低減し、一般化性能を向上させること。
• 追加の実世界アノテーションを必要とせずに、集団数え上げの性能を向上させるドメイン適応手法を開発すること。
• 特徴レベルおよび出力レベルの適応を通じて、未学習の実ドメインにおいて高品質で構造的な密度マップを生成すること。

提案手法

• 畳み込みニューラルネットワークの複数層に要素ごとの識別器を用いることで、ドメイン不変な特徴を抽出するマルチレベル特徴aware適応（MFA）を導入する。
• 出力レベルでのドメイン整合化を促進するために、実際の密度マップと合成密度マップを区別するマップ識別器を構造的密度マップ整合化（SDA）に採用する。
• ターゲットドメインにおける密度予測のマルチスケール一貫性を維持するため、自己教師型ピラミッドリーダル（SPR）モジュールを組み込む。
• 粗い密度マップを精緻化し、ノイズや構造的アーチファクトを低減するために、大きなカーネルサイズ（例：[13,9,5,9,13]）を有するマップリファイナを用いる。
• 特徴空間および出力空間における adversarial 学習を統合し、ドメインシフトを同時に最小化するとともに空間的詳細を保持する。
• ドメイン適応モジュールを備えた事前学習済みのSFCNバックボーンを用いることで、合成GCCデータセットから実世界データセットへの効果的な転移を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチレベル特徴適応は、集団数え上げにおける合成画像と実画像の間のドメインシフトを効果的に低減できるか？
• RQ2 実アノテーションが得られない未学習の実世界シーンにおいて、密度マップの品質をどのように向上させられるか？
• RQ3 複数スケールでの密度マップの構造的整合化は、一般化性能の向上と予測誤差の低減に寄与するか？
• RQ4 マップリファイナにおける大きな受容野を有する畳み込み層は、予測密度マップの忠実度を顕著に向上させるか？

主な発見

• 上海技術大学Part Bでは、提案手法がMAE 144.6、MSE 200.6を達成し、ベースラインのNoAdapt（MAE 156.4、MSE 210.7）およびSE Cycle GAN（MAE 123.4、MSE 193.4）を上回った。
• UCF-QNRFでは、MAEをNoAdaptの275.5から255.4に低減し、多様な実世界シーンへの強力な一般化能力を示した。
• カーネルサイズ[13,9,5,9,13]を有するマップリファイナは、最高のPSNR（25.62）とSSIM（0.856）を達成し、大きな受容野がノイズ低減と再構成に寄与することを確認した。
• MCNNおよびCSRNetにSPRを導入することで、それぞれMAEが6.4%および4.7%低減し、教師あり設定下でのより高いロバストネスを示した。
• 可視化結果から、本手法は集団密度のトレンドや空間的分布を効果的に捉えているが、遠方または低テクスチャの背景領域では誤差が依然として残っている。
• 構造的および局所的特徴の保持が優れているため、実監視ドメインではGANベースの画像変換（例：SE Cycle GAN）よりも本手法が優れている。