[論文レビュー] Improving Dense Crowd Counting Convolutional Neural Networks using Inverse k-Nearest Neighbor Maps and Multiscale Upsampling

Greg Olmschenk, Hao Tang+1 more|arXiv (Cornell University)|Jan 31, 2019

Video Surveillance and Tracking Methods参考文献 23被引用数 5

ひとこと要約

本稿では、密度推定のための従来のガウス密度マップの代替として、逆k近傍（ikNN）マップを提案する。MUD-ikNNアーキテクチャにおいて、ikNNラベリングと転置畳み込みを用いた新規のマルチスケールアップサンプリングモジュールを組み合わせることで、UCF-QNRF、ShanghaiTech、UCF-CC-50の複数のベンチマークデータセットにおいて、既存手法を凌駕する最先端の性能を達成した。

ABSTRACT

Gatherings of thousands to millions of people frequently occur for an enormous variety of events, and automated counting of these high-density crowds is useful for safety, management, and measuring significance of an event. In this work, we show that the regularly accepted labeling scheme of crowd density maps for training deep neural networks is less effective than our alternative inverse k-nearest neighbor (i$k$NN) maps, even when used directly in existing state-of-the-art network structures. We also provide a new network architecture MUD-i$k$NN, which uses multi-scale upsampling via transposed convolutions to take full advantage of the provided i$k$NN labeling. This upsampling combined with the i$k$NN maps further improves crowd counting accuracy. Our new network architecture performs favorably in comparison with the state-of-the-art. However, our labeling and upsampling techniques are generally applicable to existing crowd counting architectures.

研究の動機と目的

• 従来のガウス分布に基づく密度マップラベリングの限界を是正すること。特に、空間的勾配情報が十分に活用されず、微細な歩行者位置の詳細が失われる問題を解消する。
• 逆k近傍（ikNN）マップという新しいラベリング方式を導入することで、より豊かな空間的勾配を提供するとともに、正確な歩行者局所化を維持しつつ、学習効率とモデル精度を向上させる。
• 転置畳み込みを用いたマルチスケールアップサンプリングにより、複数の特徴レベルでフル解像度の監視を可能にする、汎用性の高いネットワークアーキテクチャMUD-ikNNを設計する。
• 既存の最先端ネットワークに、アーキテクチャの大幅な見直しを伴わずに、ikNNラベリングとマルチスケールアップサンプリングモジュールをシームレスに統合できることを示す。
• 提案手法が、多様で現実世界の集団データセットにおいて、顕著にカウント性能を向上させることを検証する。

提案手法

• 本稿では、各画素の値がそのk番目の近隣画素までの距離の逆数に比例する、逆k近傍（ikNN）マップを新たなラベリング方式として導入する。これにより、空間的に豊かな高勾配表現が得られ、集団分布の詳細が強調される。
• ガウス分布を仮定しないで構築されるため、局所的な密度の対比を強調し、重なっている場合でも個々の人物の明確な境界を保持する。
• MUD-ikNNネットワークは、畳み込み層を密接に接続した構造に加え、中間特徴マップをフル解像度の正例解像度までアップサンプリングするマルチスケールアップサンプリングモジュールを統合し、直接的な監視を可能にする。
• アップサンプリングモジュールにより、全層でフル解像度の監視が可能となり、従来の手法で用いられる別々の冗長なブランチの必要性が解消される。
• 転置畳み込みによるアップサンプリングは、柔軟かつ任意のスケールでの拡大を可能にし、モデルがフル解像度のikNNラベルマップと直接特徴を比較できるようにパラメータ化されている。
• 本フレームワークはプラグアンドプレイ設計となっており、既存の集団カウントネットワークは最小限の変更で、ikNNラベリングとアップサンプリングモジュールを採用可能であり、あらゆるアーキテクチャで性能向上が見込まれる。

実験結果

リサーチクエスチョン

• RQ1 標準的なガウス密度マップを逆k近傍（ikNN）マップに置き換えることで、深層畳み込みニューラルネットワークにおける集団カウント精度が向上するか？
• RQ2 転置畳み込みを用いたマルチスケールアップサンプリングは、特徴レベルの監視を強化し、密集した集団カウントにおけるモデル性能を向上させ得るか？
• RQ3 ikNNラベリングとマルチスケールアップサンプリングモジュールは、既存の最先端集団カウントアーキテクチャにどの程度一般化可能か？
• RQ4 提案されたMUD-ikNNネットワークは、多様で現実世界の集団データセットにおいて、現在のSOTA手法と比較してどのように差をつけるか？
• RQ5 ikNNラベリングとフル解像度のマルチスケールアップサンプリングの組み合わせは、従来手法と比較して回帰誤差を低減するか？

主な発見

• UCF-QNRFデータセットでは、MUD-ikNNモデルが平均絶対誤差（MAE）104を達成し、以前のSOTA手法（Idrees et al., 2018）のMAE 132を上回った。
• ShanghaiTech Part Aでは、MUD-ikNNがMAE 68.0を達成し、ベースラインのMUD-densityβ0.3モデル（72.7 MAE）および以前のSOTA手法（132 MAE）を大きく上回った。
• ShanghaiTech Part Bでは、MUD-ikNNがMAE 13.4を達成し、同じ設定で以前のSOTA（10.6 MAE）を上回った。これは、異なる密度の集団にわたる強力な一般化性能を示している。
• アブレーションスタディの結果、密度マップをikNNマップに置き換えるだけで、ShanghaiTech Part AでMAEが72.7から70.8に改善され、ラベリング方式の有効性がアーキテクチャに依存せずに裏付けられた。
• マルチスケールアップサンプリングモジュールにより、全層でフル解像度の監視が可能となり、より正確な勾配伝搬と正例との特徴の整合性が確保され、誤差が低減された。
• 本手法は非常に汎用的である。[9]のネットワークに適用した場合、密度マップをikNNマップに置き換えることで、MAEが132から122に低下し、ラベリング方式の広範な有用性が確認された。