[論文レビュー] Feature-aware Adaptation and Structured Density Alignment for Crowd Counting in Video Surveillance

Junyu Gao, Qi Wang+1 more|arXiv (Cornell University)|Dec 8, 2019

Video Surveillance and Tracking Methods参考文献 28被引用数 9

ひとこと要約

本論文は、合成映像と実世界の監視映像の間のドメインギャップを低減するためのドメイン適応手法を提案している。MFA（マルチレベル特徴認識適応）とSDA（構造的密度マップアライメント）を組み合わせることで、ドメイン不変特徴を学習し、現実的な密度マップを生成する。4つの実世界データセットで最先端の性能を達成した。

ABSTRACT

With the development of deep neural networks, the performance of crowd counting and pixel-wise density estimation are continually being refreshed. Despite this, there are still two challenging problems in this field: 1) current supervised learning needs a large amount of training data, but collecting and annotating them is difficult; 2) existing methods can not generalize well to the unseen domain. A recently released synthetic crowd dataset alleviates these two problems. However, the domain gap between the real-world data and synthetic images decreases the models' performance. To reduce the gap, in this paper, we propose a domain-adaptation-style crowd counting method, which can effectively adapt the model from synthetic data to the specific real-world scenes. It consists of Multi-level Feature-aware Adaptation (MFA) and Structured Density map Alignment (SDA). To be specific, MFA boosts the model to extract domain-invariant features from multiple layers. SDA guarantees the network outputs fine density maps with a reasonable distribution on the real domain. Finally, we evaluate the proposed method on four mainstream surveillance crowd datasets, Shanghai Tech Part B, WorldExpo'10, Mall and UCSD. Extensive experiments evidence that our approach outperforms the state-of-the-art methods for the same cross-domain counting problem.

研究の動機と目的

• 最近リリースされた合成群衆データセットを活用することで、群衆計数のための実世界のアノテート済みデータが限られているという課題に対処する。
• 合成学習データと実世界の監視シーンの間のドメインギャップを低減し、モデルの一般化性能を向上させる。
• 合成データで訓練された群衆計数モデルが、未観測の実世界ドメインに対しても効果的に適応できるようにする。
• 構造的アライメントを通じて、実世界シナリオにおける予測密度マップの質と現実性を向上させる。

提案手法

• 複数のネットワーク層でドメイン間の特徴をアライメントするマルチレベル特徴認識適応（MFA）を導入し、ドメイン不変表現を抽出する。
• 実世界データ上で、現実的な空間的分布を持つ密度マップを生成するようモデルに制約を課す構造的密度マップアライメント（SDA）を提案する。
• MFAとSDAを統合したフレームワークを構築し、トレーニング中に特徴アライメントと密度マップの現実性を同時に最適化する。
• 実世界アノテーションを必要としないドメイン適応スタイルのトレーニング戦略を採用し、ドメインシフトを最小限に抑える。
• 敵対的トレーニングと分布マッチング技術を活用して、ドメイン間での特徴および密度マップの一貫性を強化する。
• 追加のアノテーションが不要な状態で、合成データを用いたエンドツーエンドのトレーニングと、実世界データでのファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応フレームワークは、合成データと実世界の群衆計数データの間のドメインギャップを効果的に低減できるか？
• RQ2 マルチレベル特徴アライメントと構造的密度マップアライメントは、未観測の実ドメインへのモデル一般化をどのように向上させるか？
• RQ3 提案手法は、実監視データセットにおいて、既存のクロスドメイン群衆計数手法をどの程度上回るか？
• RQ4 MFAとSDAの統合は、実世界シナリオにおいてより現実的かつ正確な密度マップを生成するか？

主な発見

• 提案手法は、上海技術大学Part B、WorldExpo'10、Mall、UCSDの4つのメジャーな監視映像群衆計数データセットで最先端の性能を達成した。
• 実世界データと合成データの間のドメインギャップが顕著に低減され、追加の実世界アノテーションがなくても一般化性能が向上した。
• マルチレベル特徴認識適応（MFA）は、複数のネットワーク層にわたりドメイン不変特徴を効果的に捉え、特徴のロバスト性を向上させた。
• 構造的密度マップアライメント（SDA）は、実データ上での予測密度マップが現実的な空間的分布を持つことを保証し、計数精度を向上させた。
• 広範な実験により、MFAとSDAの組み合わせが、同じ評価設定下で既存のクロスドメイン群衆計数手法を上回ることが確認された。
• 未観測の実世界シーンに対しても良好な一般化性能を示し、合成データから実監視環境への強力な転送性を示した。