[論文レビュー] Focus on Semantic Consistency for Cross-domain Crowd Understanding

Tao Han, Junyu Gao+2 more|arXiv (Cornell University)|Feb 20, 2020

Video Surveillance and Tracking Methods参考文献 28被引用数 4

ひとこと要約

本論文は、合成データと現実世界の群衆シーン間の意味的整合性を向上させるクロスドメイン群衆数え上げのドメイン適応フレームワークを提案する。意味的抽出器を導入して群衆領域に注目し、敵対的学習を用いて高レベル特徴を整合化することで、背景推定誤差を低減し、3つの現実世界データセットで最先端の性能を達成した。ベースラインモデル比でMAEが31.3%改善された。

ABSTRACT

For pixel-level crowd understanding, it is time-consuming and laborious in data collection and annotation. Some domain adaptation algorithms try to liberate it by training models with synthetic data, and the results in some recent works have proved the feasibility. However, we found that a mass of estimation errors in the background areas impede the performance of the existing methods. In this paper, we propose a domain adaptation method to eliminate it. According to the semantic consistency, a similar distribution in deep layer's features of the synthetic and real-world crowd area, we first introduce a semantic extractor to effectively distinguish crowd and background in high-level semantic information. Besides, to further enhance the adapted model, we adopt adversarial learning to align features in the semantic space. Experiments on three representative real datasets show that the proposed domain adaptation scheme achieves the state-of-the-art for cross-domain counting problems.

研究の動機と目的

• 合成データを用いたクロスドメイン群衆数え上げにおいて、高い背景推定誤差を低減すること。
• 合成データ（GCC）と現実世界データ（Shanghai Tech, UCF-QNRF）の間のドメインギャップを低減すること。
• 群衆領域の高レベル特徴における意味的整合性に注目することで、群衆数え上げの性能を向上させること。
• 意味的監視と敵対的特徴整合を活用するドメイン適応フレームワークを開発すること。
• 低密度および高密度の群衆数え上げベンチマークで最先端の性能を達成すること。

提案手法

• GCCデータセットの群衆マスクを用いて、群衆領域の高レベル意味的ラベルを生成する意味的抽出器ネットワークを訓練する。
• ソース（合成）およびターゲット（現実）画像からの深層特徴を抽出するために、バッチ正規化を備えたVGG16ベースの特徴抽出器を用いる。
• 意味的空間におけるドメイン間の特徴分布を統一するために、特徴識別器を用いた敵対的学習を適用する。
• 群衆数え上げ損失、意味的セグメンテーション損失、敵対的損失を組み合わせたマルチタスク損失関数を用いて、モデルを同時に最適化する。
• 訓練中に負のドメインシフトを回避するため、大規模なGCCデータセットから代表的な画像を選択するためのシーン正則化を適用する。
• Adamを用いて学習率1e-5、バッチサイズ8で、480×640のクロップ入力を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 高レベル特徴における意味的整合性に注目することで、クロスドメイン群衆数え上げにおけるドメインギャップを低減できるか？
• RQ2 群衆固有の意味的監視を活用することで、合成データから現実世界データへの一般化性能が向上するか？
• RQ3 意味的空間における敵対的特徴統一は、SE Cycle GANのような画像スタイル変換手法を上回る性能を発揮するか？
• RQ4 提案手法は低密度および高密度の群衆データセットの両方でどのように性能を発揮するか？
• RQ5 既存のドメイン適応手法と比較して、背景推定誤差はどの程度低減されるか？

主な発見

• Shanghai Tech Part Bデータセットでは、提案手法がMAE 16.9、MSE 24.7を達成し、ベースラインモデル比で誤差がそれぞれ31.3%、26.7%低減された。
• UCF-QNRFデータセットでは、MAEおよびMSEの両面で最先端のSE Cycle GANを上回り、特に混雑度の高いシーンへの一般化性能が優れていることが示された。
• 視覚的結果から、ドメイン適応を適用した密度マップは、特に背景領域で真値に著しく近いことが確認された。
• PSNRおよびSSIMスコアが向上し、予測された密度マップの品質が向上していることが示された。
• アブレーションスタディにより、意味的抽出器と敵対的統一の両方が性能向上に寄与しており、背景ノイズ低減において意味的コンponentが特に重要であることが確認された。
• フレームワークはデータセット間で良好に一般化され、低密度（Shanghai Tech）および高密度（UCF-QNRF）の両方の群衆数え上げベンチマークで最先端の結果を達成した。