[論文レビュー] Mixture of Counting CNNs: Adaptive Integration of CNNs Specialized to Specific Appearance for Crowd Counting

Shohei Kumagai, Kazuhiro Hotta+1 more|arXiv (Cornell University)|Mar 28, 2017

Video Surveillance and Tracking Methods参考文献 17被引用数 61

ひとこと要約

本論文は、外観とスケールの変化に対処するために、専門家 CNN の混合とゲーティングネットワークを導入する MoC-CNN を提案します。

ABSTRACT

This paper proposes a crowd counting method. Crowd counting is difficult because of large appearance changes of a target which caused by density and scale changes. Conventional crowd counting methods generally utilize one predictor (e,g., regression and multi-class classifier). However, such only one predictor can not count targets with large appearance changes well. In this paper, we propose to predict the number of targets using multiple CNNs specialized to a specific appearance, and those CNNs are adaptively selected according to the appearance of a test image. By integrating the selected CNNs, the proposed method has the robustness to large appearance changes. In experiments, we confirm that the proposed method can count crowd with lower counting error than a CNN and integration of CNNs with fixed weights. Moreover, we confirm that each predictor automatically specialized to a specific appearance.

研究の動機と目的

• 密度とスケールによる群衆カウントにおける大きな外観変化に対処する。
• さまざまな外観に特化した複数の CNN 予測器を用いる頑健な手法の開発。
• 単一の予測器より高いカウント精度を実現するため、専門家 CNN の適応的選択と統合を可能にする。
• 手動の役割割り当てなしに、専門家が自動的に専門化するエンドツーエンド訓練を提供。
• 難易度の高い群衆カウントデータセットで競争力を示す。

提案手法

• 各々が画像パッチのカウントを予測する K 個の専門家 CNN を定義する。
• 専門家の出力を混ぜ合わせるために softmax を介して重み g_k を出力するゲーティング CNN を導入する。
• カウント y を専門家のカウントの加重和 y = sum_k g_k e_k として算出する。
• 専門家を L_expert 損失で訓練し、(t_n - sum_k g_nk e_nk)^2 を最小化する。
• L_gate 損失でゲーティング CNN を訓練し、単一の専門家への崩壊を防ぐ分散正則化項を含める。
• 専門家とゲーティングネットワークの別々の学習率を用いたエンドツーエンドの Adam 最適化を使用する。

実験結果

リサーチクエスチョン

• RQ1 外観が異なる状況でも、専門家 CNN の混合は群衆カウントの単一予測器を上回ることができるか。
• RQ2 適応的ゲーティングは専門家の専門化を促進し、密度とスケールを跨ぐカウント精度を改善するか。
• RQ3 難解なデータセットに対して MoC-CNN は固定重みの統合および単一の CNN ベースラインとどのように比較されるか。

主な発見

Method	MAE	MSD
Idrees et al.	419.5	-
Zhang et al. (14)	467.0	498.5
Zhang et al. (25)	377.6	509.1
Oñoro et al.	333.7	425.3
Ordinary CNN	545.6	697.5
Fc-layer Gating	509.6	670.0
MoC-CNN	361.7	493.3

• MoC-CNN は UCF_CC_50 において、単一の CNN および固定重み統合よりも低い MAE および MSD を達成する。
• UCF_CC_50 で MoC-CNN は MAE 361.7 および MSD 493.3 を達成し、Ordinary CNN (545.6, 697.5) および Fc-layer Gating (509.6, 670.0) を上回る。
• MoC-CNN は UCF_CC_50 で最先端手法と競合する成果を示す。
• ゲーティング CNN の出力は専門化を示し、異なるゲートがまばらな群衆・中程度・密集した群衆に応答することを示しており、適応的な専門家選択を裏付ける。
• この手法は単一の予測器に依存するのではなく、専門化した専門家を統合することで外観変化に対する頑健性を示す。