[論文レビュー] Depth Information Guided Crowd Counting for Complex Crowd Scenes

Mingliang Xu, Zhaoyang Ge+5 more|arXiv (Cornell University)|Mar 3, 2018

Video Surveillance and Tracking Methods参考文献 23被引用数 9

ひとこと要約

本稿では、拡張被写界深度（EDOF）画像を近景領域と遠景領域に分割する深度ガイドド・クラウドカウンティング手法であるDigCrowdを提案する。近景領域では対象検出を、遠景領域では密度マッピングを用いる。複数のデータセット、特に1,000枚の画像を含む新しい空港ベースのデータセットにおいて、最先端の性能を達成し、複雑で不均衡なクラウドシーンにおける優れた精度を示している。

ABSTRACT

It is important to monitor and analyze crowd events for the sake of city safety. In an EDOF (extended depth of field) image with a crowded scene, the distribution of people is highly imbalanced. People far away from the camera look much smaller and often occlude each other heavily, while people close to the camera look larger. In such a case, it is difficult to accurately estimate the number of people by using one technique. In this paper, we propose a Depth Information Guided Crowd Counting (DigCrowd) method to deal with crowded EDOF scenes. DigCrowd first uses the depth information of an image to segment the scene into a far-view region and a near-view region. Then Digcrowd maps the far-view region to its crowd density map and uses a detection method to count the people in the near-view region. In addition, we introduce a new crowd dataset that contains 1000 images. Experimental results demonstrate the effectiveness of our DigCrowd method

研究の動機と目的

• 被写界深度の変動に起因する人物のサイズ差異や遮蔽の激しいEDOFシーンにおいて、クラウドカウントが不正確になるという課題に対処すること。
• 高遮蔽、スケール変動、非一様なクラウド分布の下で失敗する既存の回帰ベースおよび検出ベースの手法の限界を克服すること。
• 深度情報を活用して領域別に最適化されたカウント戦略を導入するハイブリッドアプローチを構築し、精度を向上させること。
• 空港環境から収集した1,000枚の画像を含む、新しい大規模で現実世界のデータセット（CIISR）を提供し、複雑なクラウドカウント研究を支援すること。
• 新しいデータセット以外のベンチマークデータセット（Shanghaitech、Mall）でも評価することで、一般化性能を実証すること。

提案手法

• 深度特徴の局所的なピクセル類似度に基づき、入力画像をカメラに近い近景領域と遠く離れた遠景領域に分割する。
• 近景領域に対してYOLOベースのフレームワークを用いた対象検出を適用し、遮蔽による誤検出を最小限に抑えて高精度な個数カウントを実現する。
• 遠景領域に対しては深層畳み込みニューラルネットワークを用いてクラウド密度マップを生成し、高密度かつ小サイズの対象でも回帰ベースのカウントが可能になるようにする。
• 空間的文脈を考慮した統合戦略を用いて両領域の結果を統合し、重複検出を低減し、全体の精度を向上させる。
• 検出と密度推定の目的関数を統合したマルチタスク損失を用いて、エンドツーエンドでモデルを学習させ、同時に最適化を可能にする。
• 外部データセット（例：Shanghaitech、Mall）で微調整することで、多様なクラウドシーンにわたる汎用性と頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 深度情報は、EDOFシーンを近景／遠景領域に効果的に分割し、クラウドカウントにおけるスケール変動や遮蔽の変動に対処するために有効に利用できるか？
• RQ2 近景領域では検出、遠景領域では密度推定を組み合わせることで、単一手法に比べてカウント精度が向上するか？
• RQ3 提案手法DigCrowdは、高遮蔽と非一様な分布を示す現実世界の複雑なクラウドシーンで、どの程度の性能を示すか？
• RQ4 シーン特性の違いがあるにもかかわらず、Shanghaitech や Mall といった既存のベンチマークデータセットへの一般化能力はどの程度高いか？
• RQ5 空港のクラウドシーンから構築された新しい大規模データセットは、より強固で現実的なクラウドカウントシステムの評価を可能にするか？

主な発見

• Shanghaitech Part B データセットにおいて、DigCrowdは平均絶対誤差（MAE）21.5、平均二乗誤差（MSE）32.3を達成し、MCNN や YOLO といった既存手法を上回る性能を示した。
• 新たに導入された CIISR データセット（1,000枚の空港画像）においても、DigCrowdは最先端の性能を達成し、極端な深度変動を示す現実世界のEDOFシーンにおける有効性を実証した。
• Mall データセットでは、MAE 3.21、MSE 16.4 を達成し、RR（MAE: 3.59） や CA-RR（MAE: 3.43） といった先行手法を上回った。特に強い視覚的歪みや反射があるシーンでも優れた性能を示した。
• モデルは強力な一般化能力を示し、再トレーニングなしに複数のデータセットで競争力ある結果を達成しており、照明、密度、シーン条件の変化に対しても頑健であることが示された。
• 深度に基づく領域セグメンテーションの導入により、特に遮蔽状態下でも近景領域の誤検出が顕著に減少し、検出精度が向上した。
• アブレーションスタディの結果、近景領域では検出、遠景領域では密度推定を組み合わせたハイブリッドアプローチが、いずれの手法単体よりも優れた性能を発揮することが確認された。