[論文レビュー] Domain-adaptive Crowd Counting via Inter-domain Features Segregation and Gaussian-prior Reconstruction

Junyu Gao, Tao Han+2 more|arXiv (Cornell University)|Dec 8, 2019

Video Surveillance and Tracking Methods参考文献 37被引用数 33

ひとこと要約

本稿では、インタドメイン特徴分離（IFS）を用いて合成データと現実世界の集団データのドメインギャップを低減し、ガウス事前分布を用いた再構成（GPR）により密度マップの品質を向上させる、ドメイン適応型集団カウント（DACC）フレームワークを提案する。合成画像を現実的分布に変換し、粗い予測から疑似ラベルを生成することで、手動アノテーションを一切用いずに6つの現実世界データセットで最先端の性能を達成する。

ABSTRACT

Recently, crowd counting using supervised learning achieves a remarkable improvement. Nevertheless, most counters rely on a large amount of manually labeled data. With the release of synthetic crowd data, a potential alternative is transferring knowledge from them to real data without any manual label. However, there is no method to effectively suppress domain gaps and output elaborate density maps during the transferring. To remedy the above problems, this paper proposed a Domain-Adaptive Crowd Counting (DACC) framework, which consists of Inter-domain Features Segregation (IFS) and Gaussian-prior Reconstruction (GPR). To be specific, IFS translates synthetic data to realistic images, which contains domain-shared features extraction and domain-independent features decoration. Then a coarse counter is trained on translated data and applied to the real world. Moreover, according to the coarse predictions, GPR generates pseudo labels to improve the prediction quality of the real data. Next, we retrain a final counter using these pseudo labels. Adaptation experiments on six real-world datasets demonstrate that the proposed method outperforms the state-of-the-art methods. Furthermore, the code and pre-trained models will be released as soon as possible.

研究の動機と目的

• 集団カウントにおける合成データと現実世界データのドメインギャップを解消すること。
• 手動アノテーションを一切用いずに、合成データから現実データへの有効な知識移行を可能にすること。
• 疑似ラベルを用いることで、現実世界のシナリオにおける密度マップの品質を向上させること。
• 多様な現実世界データセットに一般化可能なドメイン適応型フレームワークの開発すること。

提案手法

• インタドメイン特徴分離（IFS）は、ドメイン共有特徴を抽出し、ドメインに依存しないコンponentsで装飾することで、合成画像を現実的分布に変換する。
• 翻訳された合成データ上で粗いカウンターを訓練し、現実世界への適応に向けた初期密度マップを生成する。
• ガウス事前分布を用いた再構成（GPR）は、粗い予測からガウス事前分布を用いて高品質な疑似ラベルを生成し、現実世界の密度マップを精緻化する。
• 最終的なカウンターは、生成された疑似ラベルを用いて再訓練され、現実データにおける性能を向上させる。
• ドメイン適応の有効性を検証するため、6つの現実世界データセットでフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 知識移行の過程で、合成集団データと現実世界集団データのドメインギャップをどのように効果的に抑制できるか？
• RQ2 粗い予測に基づく疑似ラベル化は、現実世界の集団カウントにおける密度マップ品質を向上させることができるか？
• RQ3 提案されたDACCフレームワークは、多様な現実世界の集団カウントデータセットにどの程度一般化可能か？
• RQ4 IFSとGPRの統合は、集団密度推定の正確性をどのように向上させるか？

主な発見

• 提案されたDACCフレームワークは、6つの現実世界の集団カウントデータセットで最先端の手法を上回る性能を達成した。
• インタドメイン特徴分離は、合成データを現実的分布に近づけることでドメインシフトを効果的に低減した。
• ガウス事前分布を用いた再構成は、粗い出力から正確な疑似ラベルを生成することで、予測品質を著しく向上させた。
• 本手法は、いかなる手動アノテーションを要せず、現実世界データにおける高精度な集団カウントを実現した。