[논문 리뷰] Attention to Head Locations for Crowd Counting

Youmei Zhang, Chunluan Zhou외 2명|arXiv (Cornell University)|2018. 06. 27.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 16

한 줄 요약

이 논문은 머리 위치에 대해 명시적으로 주의를 기울이는 학습 가능한 확률 맵을 사용하여 배경 및 비머리 영역을 억제함으로써 군중 수를 세는 데 주목하는 주의 기반 CNN(AM-CNN)을 제안한다. 다중 척도 특징 추출과 상대 편차 손실을 주의 메커니즘과 통합함으로써, 겹침, 척도 변동성, 비균일 분포에 대한 강건성을 향상시키며, 상하이테크, UCF CC 50, WorldExpo’10 데이터셋에서 기존 최고 성능를 넘어서는 낮은 MAE 및 MSE를 달성한다.

ABSTRACT

Occlusions, complex backgrounds, scale variations and non-uniform distributions present great challenges for crowd counting in practical applications. In this paper, we propose a novel method using an attention model to exploit head locations which are the most important cue for crowd counting. The attention model estimates a probability map in which high probabilities indicate locations where heads are likely to be present. The estimated probability map is used to suppress non-head regions in feature maps from several multi-scale feature extraction branches of a convolution neural network for crowd density estimation, which makes our method robust to complex backgrounds, scale variations and non-uniform distributions. In addition, we introduce a relative deviation loss to compensate a commonly used training loss, Euclidean distance, to improve the accuracy of sparse crowd density estimation. Experiments on Shanghai-Tech, UCF_CC_50 and World-Expo'10 data sets demonstrate the effectiveness of our method.

연구 동기 및 목표

• 기존의 CNN 기반 군중 수 세기 방법들이 머리 위치에 대해 명시적인 주의를 기울이지 못하는 한계를 해결한다. 머리 위치는 수세기의 가장 유용한 단서이다.
• 주의 메커니즘을 통해 비머리 영역을 필터링함으로써, 복잡한 배경, 척도 변동성, 비균일한 군중 분포에 대한 강건성을 향상시킨다.
• 표준 학습 손실에서 농밀한 군중 예제가 지배하기 때문에 자주 간과되는 흩어진 군중 수 세기 성능을 향상시킨다.
• 흡사한 군중 수 세기 시나리오 간 훈련 신호를 균형 잡기 위해 상대 편차 손실을 도입함으로써 일반화 능력을 향상시킨다.

제안 방법

• 다중 열 CNN(MCNN)에 주의 모델을 통합하여 머리 가능성에 대한 공간적 확률 맵을 생성한다.
• 주의 맵을 사용하여 다중 척도 특징 추출 브랜치에서 비머리 영역의 특징을 억제함으로써 네트워크가 머리 위치에 집중하도록 한다.
• 표준 유클리드 손실과 상대 편차 손실을 조합하여 훈련 중에 흩어진 군중 예제에 더 중점을 두도록 한다.
• 두 손실을 동시에 사용하여 AM-CNN을 엔드 투 엔드로 훈련함으로써, 특히 저밀도 시나리오에서의 밀도 맵 추정을 향상시킨다.
• 다중 척도 브랜치를 활용하여 척도 변동성을 다루며, 주의 메커니즘이 다양한 크기의 머리 위치를 정밀하게 국소화하도록 한다.
• 주의 맵을 공간 마스크로 적용하여 밀도 맵 회귀 이전에 특징 표현을 개선한다.

실험 결과

연구 질문

• RQ1 머리 위치에 집중하는 주의 메커니즘이 복잡한 환경에서 군중 수 세기 성능을 향상시키는가?
• RQ2 주의 기반 특징 억제는 배경 혼잡성과 비균일한 군중 분포에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 표준 유클리드 손실에 비해 상대 편차 손실을 도입함으로써 흩어진 군중 밀도 추정 정확도는 어느 정도 향상되는가?
• RQ4 제안된 방법은 다양한 군중 밀도와 환경 조건을 가진 다양한 데이터셋에 일반화 가능한가?

주요 결과

• AM-CNN는 상하이테크 Part A 데이터셋에서 가장 낮은 MAE(17.2)와 MSE(36.8)를 기록하여 이전 최고 성능 방법들을 능가한다.
• UCF CC 50 데이터셋에서 AM-CNN은 MAE 279.5와 MSE 377.8을 기록하여 CP-CNN(MAE: 295.8) 및 기타 기준 모델을 크게 앞서간다.
• 희박한 군중(밀도 < 3000)에 대해서도 AM-CNN은 CP-CNN를 일관되게 능가하며, 저밀도 시나리오에서 뛰어난 성능을 보여준다.
• 주의 모델은 확률 맵에서 머리 영역을 성공적으로 강조하며, 머리 부분에 더 높은 점수가 집중되고 배경이나 신체 부분에는 낮은 점수가 분포한다.
• 농밀한 군중에서는 주의 모델이 개별 머리보다는 일반적인 군중 영역에 집중하며, 이는 인간의 시각 주의와 일치한다.
• 상대 편차 손실은 흩어진 군중 예측을 효과적으로 향상시키며, UCF CC 50 및 WorldExpo’10의 저밀도 영상 범위에서의 성능 향상으로 이를 입증한다.