[논문 리뷰] Mixture of Counting CNNs: Adaptive Integration of CNNs Specialized to Specific Appearance for Crowd Counting

Shohei Kumagai, Kazuhiro Hotta외 1명|arXiv (Cornell University)|2017. 03. 28.

Video Surveillance and Tracking Methods참고 문헌 17인용 수 61

한 줄 요약

논문은 MoC-CNN을 소개하며, appearance 및 scale 변화에 대처하기 위해 전문 CNN들에 게이팅 네트워크가 적응적으로 가중치를 부여하는 혼합 전문가 CNN이다.

ABSTRACT

This paper proposes a crowd counting method. Crowd counting is difficult because of large appearance changes of a target which caused by density and scale changes. Conventional crowd counting methods generally utilize one predictor (e,g., regression and multi-class classifier). However, such only one predictor can not count targets with large appearance changes well. In this paper, we propose to predict the number of targets using multiple CNNs specialized to a specific appearance, and those CNNs are adaptively selected according to the appearance of a test image. By integrating the selected CNNs, the proposed method has the robustness to large appearance changes. In experiments, we confirm that the proposed method can count crowd with lower counting error than a CNN and integration of CNNs with fixed weights. Moreover, we confirm that each predictor automatically specialized to a specific appearance.

연구 동기 및 목표

• Density와 scale로 인한 군중 계산의 큰 appearance 변화에 대응한다.
• 다양한 appearance에 특화된 여러 CNN 예측기를 사용하여 강건한 방법을 개발한다.
• 단일 예측기보다 예측자들을Adaptive하게 선택하고 통합하여 계산 정확도를 향상한다.
• 전문가가 수동 역할 할당 없이 자동으로 전문화되도록 엔드-투-엔드 학습을 제공한다.
• 도전적인 군중 계산 데이터셋에서 경쟁력을 시연한다.

제안 방법

• 각 이미지 패치에 대해 카운트를 예측하는 K개의 专家 CNN을 정의한다.
• softmax로 가중치를 출력하는 gating CNN을 도입하여 전문가 출력들을 혼합한다.
• y를 y = sum_k g_k e_k의 가중 합으로 계산한다.
• (t_n - sum_k g_nk e_nk)^2를 최소화하도록 L_expert 손실로 전문가를 학습한다.
• 무용자(단일 전문가로 수렴하는)화를 방지하기 위해 분산 정규화 항을 포함하는 L_gate 손실로 gating CNN을 학습한다.
• 전문가와 게이팅 네트워크에 대해 서로 다른 학습률을 가진 엔드-투-엔드 Adam 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 전문가 CNN의 혼합이 다양한 appearance에서 단일 예측기보다 군중 계산에서 더 나은 성능을 낼 수 있는가?
• RQ2 Adaptive 게이팅이 전문가의 전문화를 촉진하고 밀도와 스케일 전반에 걸쳐 계산 정확도를 향상시키는가?
• RQ3 MoC-CNN은 challenging 데이터셋에서 고정 가중치 통합 및 단일 CNN 베이스라인과 어떻게 비교되는가?

주요 결과

Method	MAE	MSD
Idrees et al.	419.5	-
Zhang et al. (14)	467.0	498.5
Zhang et al. (25)	377.6	509.1
Oñoro et al.	333.7	425.3
Ordinary CNN	545.6	697.5
Fc-layer Gating	509.6	670.0
MoC-CNN	361.7	493.3

• MoC-CNN은 UCF_CC_50에서 단일 CNN 및 고정 가중치 통합보다 더 낮은 MAE 및 MSD를 달성한다.
• On UCF_CC_50, MoC-CNN attains MAE 361.7 and MSD 493.3, outperforming Ordinary CNN (545.6, 697.5) and Fc-layer Gating (509.6, 670.0).
• MoC-CNN은 UCF_CC_50에서 최첨단 방법과 경쟁력 있는 결과를 달성한다.
• Gating CNN의 출력은 전문화의 징후를 보여준다: 서로 다른 게이트가 sparse, middle, dense 군중에 반응함으로써 적응적 전문 선택을 검증한다.
• 이 방법은 단일 예측기에 의존하기보다 전문화된 전문가들을 통합함으로써 appearance 변화에 대한 강건함을 입증한다.