[논문 리뷰] Crowd Counting Using Scale-Aware Attention Networks

Mohammad Asiful Hossain, Mehrdad Hosseinzadeh외 2명|arXiv (Cornell University)|2019. 03. 05.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 9

한 줄 요약

이 논문은 소수의 특징을 동적으로 가중하는 소프트 어텐션 기반 메커니즘을 사용하여 다중 척도에서의 특징을 고려하는 스케일 인식 어텐션 네트워크를 제안한다. 밀도 맵 추정을 향상시킨다. 전역 및 국소 스케일 어텐션 모듈을 보조 손실과 함께 통합함으로써, 이 모델은 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 상하이 기술 대학 PartB에서 MAE를 최대 16.86까지 감소시킨다.

ABSTRACT

In this paper, we consider the problem of crowd counting in images. Given an image of a crowded scene, our goal is to estimate the density map of this image, where each pixel value in the density map corresponds to the crowd density at the corresponding location in the image. Given the estimated density map, the final crowd count can be obtained by summing over all values in the density map. One challenge of crowd counting is the scale variation in images. In this work, we propose a novel scale-aware attention network to address this challenge. Using the attention mechanism popular in recent deep learning architectures, our model can automatically focus on certain global and local scales appropriate for the image. By combining these global and local scale attention, our model outperforms other state-of-the-art methods for crowd counting on several benchmark datasets.

연구 동기 및 목표

• perspective와 밀도에 의해 매우 다른 크기로 나타나는 객체(예: 사람)로 인한 척도 변동성 문제를 해결한다.
• Switch-CNN와 같은 딱딱한 스위칭 방법의 한계를 극복한다. 이는 이산적 스케일 선택에 의존하여 잘못된 스케일을 선택할 위험이 있다.
• 다양한 스케일 간에 특징을 적응적으로 재가중하는 소프트 어텐션 메커니즘을 도입하여 더 견고하고 정확한 밀도 맵 예측을 가능하게 한다.
• 전역 및 국소 스케일 어텐션 모듈이 장면 전반의 다양한 밀도를 어떻게 포착하는지 확인한다.
• 어텐션 헤드에 보조 감독을 통해 특징 학습과 일반화 능력을 향상시켜 성능을 향상시킨다.

제안 방법

• 다양한 수신장 크기를 가진 특징을 생성하기 위해 다중 척도 특징 추출기를 제안한다.
• 전역 스케일 어텐션(GSA) 모듈을 도입하여 스케일 차원을 따라 어텐션 가중치를 계산함으로써 가장 관련성이 높은 전역 스케일에 집중한다.
• 국소 스케일 어텐션(LSA) 모듈을 설계하여 각 공간 위치에서 스케일 인식 어텐션을 계산함으로써 국소적 스케일 적응을 가능하게 한다.
• 학습 가능한 융합 레이어를 사용하여 다중 척도 특징과 GSA 및 LSA 출력을 융합하여 최종 밀도 맵을 생성한다.
• 밀도 맵에 대한 메인 손실 $L_{DM}$과 어텐션 헤드를 감독하기 위한 보조 손실 $L_{GSA}$ 및 $L_{LSA}$를 사용하여 모델을 훈련시킨다.
• 연속적인 가중치를 스케일에 할당하는 소프트 어텐션 메커니즘을 사용하여, 하나의 스케일만 선택하는 대신 여러 스케일을 동시에 주시할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어텐션 메커니즘은 공간 위치가 아닌 관련 스케일에 집중하는 데 효과적으로 적용될 수 있는가?
• RQ2 기존 방법(예: Switch-CNN)에서 사용하는 딱딱한 스위칭 메커니즘에 비해 어텐션을 통한 소프트 스케일 선택이 더 우수한가?
• RQ3 전역 및 국소 스케일 어텐션 모듈이 개별적으로나 함께 작용할 때 밀도 추정 향상에 기여하는 방식은 무엇인가?
• RQ4 어텐션 헤드에 보조 감독을 적용하면 의미 있는 스케일 표현을 학습하는 데 모델의 능력이 향상되는가?
• RQ5 제안된 방법은 스케일 분포가 다양하게 분포된 다양한 밀도 추정 기준 데이터셋에 일반화되는가?

주요 결과

• 제안된 모델은 상하이 기술 대학 PartB 데이터셋에서 평균 절대 오차(MAE) 16.86을 달성하여 이전 최신 기술 수준의 모든 방법들을 능가한다.
• 절단 분석 결과, 전역(GSA) 및 국소(LSA) 어텐션 모듈이 둘 다 크게 기여하며, 둘 다 사용했을 때 최고의 성능을 기록한다.
• 훈련 중에 보조 손실 $L_{GSA}$ 및 $L_{LSA}$를 사용함으로써 성능이 더욱 향상되며, 상하이 기술 대학 PartB에서 MAE가 19.15에서 16.86으로 감소한다.
• 마트 데이터셋에서는 MAE 1.28과 MSE 1.68을 기록하여 DecideNet 및 Count-Forest와 같은 기존 방법들을 능가한다.
• 그림 6의 정성적 결과는 특히 고밀도 및 가림 영역에서 더 정확하고 세밀한 밀도 맵을 생성함을 보여준다.
• 상하이 기술 대학 PartB, 마트, UCF_CC_50 세 가지 기준 데이터셋에서 모든 영역에서 기존 방법들을 능가하며, 일관된 일반화 능력을 입증한다.