[論文レビュー] 3D Crowd Counting via Geometric Attention-guided Multi-View Fusion

Qi Zhang, Antoni B. Chan|arXiv (Cornell University)|Mar 18, 2020

Video Surveillance and Tracking Methods参考文献 40被引用数 4

ひとこと要約

本稿では、3次元ガウスカーネルに基づく密度マップと幾何的アテンション誘導型マルチビュー融合を用いた3次元マルチビュー集団数え上げ手法を提案する。2次元特徴を3次元空間に投影し、3次元畳み込みニューラルネットワーク（3D CNN）を介して特徴を統合することで、スケールの変動や隠蔽をより効果的に扱い、投影一貫性損失を用いたエンド・ツー・エンド学習により、3つのマルチビュー・データセットで最先端または優れた性能を達成した。

ABSTRACT

Recently multi-view crowd counting using deep neural networks has been proposed to enable counting in large and wide scenes using multiple cameras. The current methods project the camera-view features to the average-height plane of the 3D world, and then fuse the projected multi-view features to predict a 2D scene-level density map on the ground (i.e., birds-eye view). Unlike the previous research, we consider the variable height of the people in the 3D world and propose to solve the multi-view crowd counting task through 3D feature fusion with 3D scene-level density maps, instead of the 2D density map on the ground plane. Compared to 2D fusion, the 3D fusion extracts more information of the people along the z-dimension (height), which helps to address the scale variations across multiple views. The 3D density maps still preserve the 2D density maps property that the sum is the count, while also providing 3D information about the crowd density. Furthermore, instead of using the standard method of copying the features along the view ray in the 2D-to-3D projection, we propose an attention module based on a height estimation network, which forces each 2D pixel to be projected to one 3D voxel along the view ray. We also explore the projection consistency among the 3D prediction and the ground truth in the 2D views to further enhance the counting performance. The proposed method is tested on the synthetic and real-world multiview counting datasets and achieves better or comparable counting performance to the state-of-the-art.

研究の動機と目的

• 視野が狭く、スケールの変動や隠蔽が顕著なシーンにおける単一ビュー集団数え上げの限界を解消する。
• 従来のマルチビュー手法における2次元から2次元への特徴統合の欠陊を克服し、異なる視点間で体の部位（例：頭部と足）の特徴が正しく対応しない問題を解決する。
• 3次元空間的情報を保持し、集団数え上げのロバスト性を向上させるために、エンド・ツー・エンドの深層学習フレームワークを構築し、3次元シーンレベルの密度マップを予測する。
• 3次元予測と2次元カメラ視点間の投影一貫性損失を導入し、特徴の整合性とモデルの一般化性能を向上させる。
• 縦方向の分布を含む3次元空間における密度モデリングにより、数え上げを超えた応用を想定したより情報豊かな集団表現を実現する。

提案手法

• カメラパラメータを用いた微分可能な3次元投影レイヤーを用い、複数の高さ平面にわたる2次元画像特徴を3次元世界座標に変換する。
• 3次元ガウスカーネルを用いて3次元密度マップを構築し、3次元空間における集団分布を表現する。このマップの合計値は全集団数に等しい。
• 3次元畳み込みニューラルネットワーク（3D CNN）を用いてマルチビューの3次元特徴を統合し、3次元シーンレベルの密度マップ予測を生成する。
• 一貫性があり信頼性の高い領域を強調することで、特徴統合を幾何的アテンション機構によって誘導する。
• 各カメラ視点におけるバックプロジェクションされた3次元予測と2次元正解密度マップを比較する投影一貫性損失（PCM）を適用する。
• 3次元監視、2次元監視、および投影一貫性損失を組み合わせたマルチタスク損失を用いて、エンド・ツー・エンドでモデルを学習し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3次元特徴統合は、縦方向の空間的関係をよりよくモデル化し、スケール変動の問題を軽減することで、2次元特徴統合を上回る性能を示すか？
• RQ2 3次元ガウスカーネルに基づく密度マップを組み込むことで、広大で複雑な、または隠蔽の多いシーンにおける集団数え上げの精度とロバスト性がどのように向上するか？
• RQ3 3次元予測と2次元カメラ視点間の投影一貫性を強制することで、モデル性能と特徴の整合性はどの程度向上するか？
• RQ4 提案された3次元マルチビュー数え上げフレームワークは、遮蔽、解像度、カメラ設定が異なる多様な実世界シーンに一般化可能か？
• RQ5 3次元密度マップ表現は、数え上げに加え、シーン理解、可視化、3次元シーン再構築の応用にも対応可能か？

主な発見

• PETS2009データセットでは、ベースライン手法およびMVMSモデルを上回り、比較されたすべての手法の中で最高の性能を達成した。
• DukeMTMCでは、MVMSと同等の性能を達成したが、特に集団密度が低く、隠蔽が少ないという特徴を考慮すると、2つのベースライン手法に顕著な優位性を示した。
• CityStreetでは、エンド・ツー・エンドのマルチビュー手法の中で最高の結果を達成し、高密度な集団と深刻な隠蔽に強く、'検出＋ReID'手法を顕著に上回った。
• アブレーションスタディにより、3次元損失、2次元監視、および投影一貫性損失（3D+2D+PCM）の組み合わせが、すべてのデータセットで最良の性能を発揮することが確認された。最適なハイパーパramータはデータセットごとに異なる。
• 最適な3次元ボクセル高さと高さ平面数はデータセットごとに異なった：PETS2009では40cmと7ボクセル、DukeMTMCでは10cmと36ボクセル、CityStreetでは10cmと28ボクセルであり、それぞれ異なる遮蔽と解像度特性を反映していた。
• 3次元ガウスカーネル表現により、集団分布の鮮明な3次元可視化が可能となり、任意の視点角度からのシーン再構築が可能であることが示された。これにより、より広範な応用への可能性が示された。