[論文レビュー] Cross-View Cross-Scene Multi-View Crowd Counting

Qi Zhang, Wei Lin+1 more|arXiv (Cornell University)|May 3, 2022

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

本論文は、幾何学的注意メカニズムを用いた動的ビュー融合とノイズビュー正則化を用いて、非対応誤差を処理する、幾何学的ガイド付き注意メカニズムを備えた新規なクロスビュークロスシーン（CVCS）マルチビュー群衆数え上げフレームワークを提案する。大規模な合成マルチカメラデータセットで訓練されたCVCSモデルは、教師なしドメイン適応を用いて実世界のデータセットで最先端の性能を達成し、同じシーンで訓練された完全教師あり手法を上回る。

ABSTRACT

Multi-view crowd counting has been previously proposed to utilize multi-cameras to extend the field-of-view of a single camera, capturing more people in the scene, and improve counting performance for occluded people or those in low resolution. However, the current multi-view paradigm trains and tests on the same single scene and camera-views, which limits its practical application. In this paper, we propose a cross-view cross-scene (CVCS) multi-view crowd counting paradigm, where the training and testing occur on different scenes with arbitrary camera layouts. To dynamically handle the challenge of optimal view fusion under scene and camera layout change and non-correspondence noise due to camera calibration errors or erroneous features, we propose a CVCS model that attentively selects and fuses multiple views together using camera layout geometry, and a noise view regularization method to train the model to handle non-correspondence errors. We also generate a large synthetic multi-camera crowd counting dataset with a large number of scenes and camera views to capture many possible variations, which avoids the difficulty of collecting and annotating such a large real dataset. We then test our trained CVCS model on real multi-view counting datasets, by using unsupervised domain transfer. The proposed CVCS model trained on synthetic data outperforms the same model trained only on real data, and achieves promising performance compared to fully supervised methods that train and test on the same single scene.

研究の動機と目的

• 既存のマルチビュー群衆数え上げモデルが単一のシーンと固定されたカメラ配置でのみ一般化できるという制限を解決すること。
• マルチビュー群衆数え上げにおいて、異なるシーンや任意のカメラ配置に効果的に一般化できること。
• 変化する幾何的構成下で、複数のカメラからの特徴を動的に選択・統合できる堅牢なモデルの開発。
• カメラキャリブレーションの不正確さや特徴のずれによる非対応誤差を、ノイズ注入正則化戦略を用いて軽減すること。
• 多様なシーンとカメラ視点の組み合わせをカバーする大規模な合成マルチカメラ群衆数え上げデータセットの作成。

提案手法

• モデルは各カメラからの単一ビュー特徴を抽出するためにVGG-Netバックボーンを使用する。
• 投影された特徴は、カメラ配置の幾何構造に基づくカメラ投影行列を用いて平均高さ面に変換される。
• 注目メカニズムがオブジェクトからカメラまでの距離に基づき関連するビューを選択し、マルチビュー特徴の動的統合を可能にする。
• マックスプーリング層が選択された特徴を統合表現に統合し、シーンレベルの密度予測に使用される。
• トレーニング中に誤った特徴を注入することで、ノイズビュー正則化を適用し、非対応誤差への耐性を向上させる。
• 教師なしドメイン適応により、群衆アノテーションを必要とせず、合成で訓練されたモデルを実画像に微調整する。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー群衆数え上げモデルは、異なるシーンや任意のカメラ配置に効果的に一般化できるか？
• RQ2 変化するカメラ構成やシーン幾何構造下で、複数のカメラからの特徴を動的に選択・統合できるか？
• RQ3 非対応誤差がマルチビュー数え上げに与える影響は何か？ トレーニング段階でどのように軽減できるか？
• RQ4 大規模な合成データセットは、実世界のクロスシーンマルチビュー群衆数え上げに適切にモデルを訓練できるか？
• RQ5 教師なしドメイン適応は、合成で訓練されたモデルを実世界のテストシーンに移行する際に、性能を顕著に向上させるか？

主な発見

• 合成データで訓練されたCVCSモデルは、実データでのみ訓練されたモデルを上回り、合成データの有効性がクロスシーン一般化に寄与することを示している。
• 教師なしドメイン適応で微調整したCVCSモデルは、実テストデータで平均絶対誤差（MAE）5.17を達成し、ベースライン手法を上回った。
• 教師なしドメイン適応を適用したモデルは、同様のモデルで適応なしの場合と比較して、誤差を1.5〜2.0 MAE低減しており、ドメインギャップの効果的低減を示している。
• カメラ選択とノイズビュー正則化を備えたモデルは、バックボーンやMVMSベースラインと比較して誤差が低く、提案モジュールの有効性を裏付けている。
• 2つの実シーン（RealC）でのみ学習すると誤差が高くなるが、多様なシーンと視点を含む合成データで学習すると、著しく優れた一般化性能が得られる。
• CVCSモデルは、同じシーンで完全教師あり手法と同等の性能を達成しており、実世界への実用的適用可能性を裏付けている。