[논문 리뷰] Top-Down Feedback for Crowd Counting Convolutional Neural Network

Deepak Babu Sam, R. Venkatesh Babu|arXiv (Cornell University)|2018. 07. 24.

Video Surveillance and Tracking Methods인용 수 72

한 줄 요약

이 논문은 하향식 피드백 메커니즘을 도입하여 하향-상향 CNN 활성화를 게이트하여 군중 밀도 예측을 보정하고 주요 데이터셋에서 정확도를 향상시킨다.

ABSTRACT

Counting people in dense crowds is a demanding task even for humans. This is primarily due to the large variability in appearance of people. Often people are only seen as a bunch of blobs. Occlusions, pose variations and background clutter further compound the difficulty. In this scenario, identifying a person requires larger spatial context and semantics of the scene. But the current state-of-the-art CNN regressors for crowd counting are feedforward and use only limited spatial context to detect people. They look for local crowd patterns to regress the crowd density map, resulting in false predictions. Hence, we propose top-down feedback to correct the initial prediction of the CNN. Our architecture consists of a bottom-up CNN along with a separate top-down CNN to generate feedback. The bottom-up network, which regresses the crowd density map, has two columns of CNN with different receptive fields. Features from various layers of the bottom-up CNN are fed to the top-down network. The feedback, thus generated, is applied on the lower layers of the bottom-up network in the form of multiplicative gating. This masking weighs activations of the bottom-up network at spatial as well as feature levels to correct the density prediction. We evaluate the performance of our model on all major crowd datasets and show the effectiveness of top-down feedback.

연구 동기 및 목표

• 군중 카운팅에서 밀도 예측을 보정하기 위한 고수준 장면 맥락의 필요성 제시.
• 하향 피드백 제너레이터와 상향 밀도 회귀기의 두 경로 아키텍처를 제안.
• 상향 피드백으로부터의 곱셈 게팅이 데이터셋 전반의 카운팅 정확도를 향상시킨다는 것을 입증.
• 피드백 메커니즘의 효과성과 신뢰성을 검증하기 위한 어블레이션을 보여줌

제안 방법

• 다른 수용 영역을 가지는 두 열의 하향 CNN 회귀기를 사용하여 밀도 맵을 예측한다.
• 상향 CNN은 하향 네트워크의 고수준 특징으로 피드백을 생성한다.
• 피드백은 하향 CNN의 하위 계층 활성에 곱셈 게이트로 적용된다.
• 훈련은 단계적으로 이루어지며: 먼저 하향 CNN을 훈련시키고, 그다음 카운트 손실과 게이트 특징에 대한 L1 정규화를 사용하여 상향 네트워크를 훈련시킨다.
• 게이팅을 적용한 후 최종 밀도 맵을 생성하며, 하향 훈련에는 표준 L2 손실, 상향 훈련에는 카운트 손실을 사용한다.
• 네 가지 데이터셋 전반에서 MAE와 MSE를 사용한 평가; 풀링으로 인해 밀도 맵은 1/4 해상도로 다운샘플링한다.

실험 결과

연구 질문

• RQ1 고수준의 장면 맥락을 가진 상향 모듈이 밀집한 군중에서 잘못된 탐지를 줄일 수 있는가?
• RQ2 하향 활성의 곱셈 게팅이 기본 하향 CNN 대비 군중 밀도 추정 성능을 향상시키는가?
• RQ3 다양한 밀도와 시점 뷰를 가진 데이터셋에서도 상향 피드백 프레임워크가 강건한가?
• RQ4 다른 다중 열(Network)과 비교했을 때 상향 접근의 매개변수 효율성은 어떤가?

주요 결과

• TDF-CNN은 Shanghaitech Part A 및 Part B에서 많은 기준선보다 낮은 MAE 및 MSE를 달성하며 파라미터 수가 더 적다.
• 어블레이션 결과 피드백이 없는 하향 CNN은 Shanghaitech Part A에서 MAE가 147.4였고, 상향 피드백으로 97.5로 감소한다.
• 하나의 9×9 열만 사용해도 상향 피드백은 여전히 효과적이며 MAE를 21.4% 감소시킨다.
• 게이트 특징 맵은 희소화 마스크 역할을 하여 잘못된 활성화를 선택적으로 약화시키고 합법적 반응을 보존한다.
• UCF CC 50에서 TDF-CNN은 0.13M 매개변수로 354.7 MAE 및 491.4 MSE를 달성하여 매개변수가 더 많은 방법과 경쟁력이 있다.
• WorldExpo’10에서 모델은 여러 시퀀스에서 우수한 평균 MAE 및 장면별 MAE를 달성하여 데이터셋 전반의 이익을 보여준다.