[論文レビュー] Improving the Learning of Multi-column Convolutional Neural Network for Crowd Counting

Zhi-Qi Cheng, Jun-Xiu Li+4 more|arXiv (Cornell University)|Sep 17, 2019

Video Surveillance and Tracking Methods参考文献 65被引用数 4

ひとこと要約

本稿では、集団カウントのためのマルチカラム畳み込みニューラルネットワークにおけるパラメータの重複を低減し、スケール不変性を向上させる、新しいトレーニング戦略であるマルチカラム相互学習（McML）を提案する。相互情報量の最小化と非同期的相互学習を用いることで、各カラムが異なるスケール固有の特徴を学習することを保証し、4つのベンチマークで相対的なMAE改善が最大25.0%に達するなど、精度が顕著に向上する。

ABSTRACT

Tremendous variation in the scale of people/head size is a critical problem for crowd counting. To improve the scale invariance of feature representation, recent works extensively employ Convolutional Neural Networks with multi-column structures to handle different scales and resolutions. However, due to the substantial redundant parameters in columns, existing multi-column networks invariably exhibit almost the same scale features in different columns, which severely affects counting accuracy and leads to overfitting. In this paper, we attack this problem by proposing a novel Multi-column Mutual Learning (McML) strategy. It has two main innovations: 1) A statistical network is incorporated into the multi-column framework to estimate the mutual information between columns, which can approximately indicate the scale correlation between features from different columns. By minimizing the mutual information, each column is guided to learn features with different image scales. 2) We devise a mutual learning scheme that can alternately optimize each column while keeping the other columns fixed on each mini-batch training data. With such asynchronous parameter update process, each column is inclined to learn different feature representation from others, which can efficiently reduce the parameter redundancy and improve generalization ability. More remarkably, McML can be applied to all existing multi-column networks and is end-to-end trainable. Extensive experiments on four challenging benchmarks show that McML can significantly improve the original multi-column networks and outperform the other state-of-the-art approaches.

研究の動機と目的

• 視覚的効果に起因する人物のサイズの著しい変動という、集団カウントにおける重要なスケール変動問題に対処すること。
• 既存のマルチカラムネットワークが、異なる受容 field を有しても、カラム間でほぼ同一のスケール特徴を学習していることの特定。
• 各カラムが異なる補完的スケール表現を学習するように誘導することで、過学習と一般化性能の低さを是正すること。
• 任意の既存のマルチカラム集団カウントネットワークに適用可能な、プラグアンドプレイでエンドツーエンドトレーニング可能な戦略の開発。
• アーキテクチャの変更や追加の教師信号を必要とせず、特徴の多様性と一般化性能を向上させること。

提案手法

• 異なるカラムの特徴マップ間の相互情報量を推定する統計的ネットワークを導入し、スケール相関の代理指標として用いる。
• トレーニング中にカラム間の相互情報量を最小化することで、相違するスケール固有の特徴の学習を促進する。
• 各カラムが順番に最適化され、他のカラムは固定される非同期的相互学習スキームを設計し、特徴の多様性を促進する。
• 既存のマルチカラムネットワーク（例：MCNN、CSRNet、ic-CNN）にMcML戦略をプラグアンドプレイで適用し、エンドツーエンドトレーニングを可能にする。
• 特徴の冗長性と類似性を定量的に分析するために、最大情報係数（MIC）と構造的類似性（SSIM）を用いる。
• 密度マップの可視化と定量的指標（MAE、MSE）を活用し、多様な集団シーンにおけるMcMLの有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる受容フィールドを有するにもかかわらず、なぜ既存のマルチカラムネットワークが多様なスケール特徴を学習できないのか？
• RQ2 相互情報量の最小化が、カラム間の冗長性を効果的に低減し、特徴の多様性を向上させることができるか？
• RQ3 非同期的相互学習は、マルチカラム集団カウントネットワークにおける一般化性能の向上と過学習の低減に寄与するか？
• RQ4 McMLは、アーキテクチャの変更なしに、さまざまなマルチカラムアーキテクチャに普遍的に適用可能か？
• RQ5 異なる集団密度とスケール分布を示すデータセットにおいて、McMLはどのように性能を発揮するか？

主な発見

• McMLはカラム間の相互情報量（MIC）と構造的類似性（SSIM）を顕著に低減し、冗長性の低減と特徴の多様性の向上が確認された。
• ShanghaiTech Part Aでは、MCNNでMAEが25.0%、CSRNetで23.6%、ic-CNNで5.6%の相対的改善を達成し、密集した集団に対して優れた性能を示した。
• UCF_CC_50では、MCNNで17.6%、CSRNetで7.5%の相対的MAE改善を達成し、小規模・スパarsなデータセットに対しても有効であることが示された。
• UCSDでは、MAEとMSEの両方が低減され、スパarsな集団シナリオにおける精度と耐障害性の向上が確認された。
• WorldExpo’10では、視覚的補正地図を用いたSOTA手法ですら、McMLがそれを上回り、このような教師信号なしでも一般化能力が優れていることを証明した。
• 可視化結果から、McMLが生成する密度マップは、カラム間でより明確な顕著領域を示しており、より良いスケール固有の特徴学習が行われていることが確認された。