[논문 리뷰] Multi-Scale Attention Network for Crowd Counting

Rahul Rama Varior, Bing Shuai외 2명|arXiv (Cornell University)|2019. 01. 17.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 16

한 줄 요약

이 논문은 컨볼루션 네트워크의 여러 층에서 밀도 맵을 생성하여 군중 수세기에서의 척도 변동성을 다루기 위한 다중 척도 주의망을 제안한다. 척도 인지 손실과 소프트 주의 메커니즘을 도입함으로써 정확도를 향상시켜 UCF-QNRF에서 기존 최고 성능 대비 25% 이상의 오차 감소를 달성한다.

ABSTRACT

In crowd counting datasets, people appear at different scales, depending on their distance from the camera. To address this issue, we propose a novel multi-branch scale-aware attention network that exploits the hierarchical structure of convolutional neural networks and generates, in a single forward pass, multi-scale density predictions from different layers of the architecture. To aggregate these maps into our final prediction, we present a new soft attention mechanism that learns a set of gating masks. Furthermore, we introduce a scale-aware loss function to regularize the training of different branches and guide them to specialize on a particular scale. As this new training requires annotations for the size of each head, we also propose a simple, yet effective technique to estimate them automatically. Finally, we present an ablation study on each of these components and compare our approach against the literature on 4 crowd counting datasets: UCF-QNRF, ShanghaiTech A & B and UCF_CC_50. Our approach achieves state-of-the-art on all them with a remarkable improvement on UCF-QNRF (+25% reduction in error).

연구 동기 및 목표

• 카메라에서의 거리로 인해 사람의 크기가 매우 다를 수 있는 척도 변동성을 다루기 위해.
• 중요한 겹침과 투시도 왜곡이 있는 고밀도 군중 상황에서의 정확도를 향상시키기 위해.
• 실제 머리 크기 데이터를 요구하지 않고도 자동으로 머리 크기를 추정할 수 있는 방법을 개발하기 위해.
• 다양한 층의 계층적 특징을 활용하여 척도별 예측을 수행하는 다중 브랜치 네트워크를 설계하기 위해.
• 네 가지 주요 군중 수세기 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 중간 및 최종 층에서 밀도 맵을 생성하는 다중 브랜치 아키텍처를 제안하며, 계층적 수신 영역 확장 특성을 활용한다.
• 예측된 머리 크기에 기반해 다중 척도 밀도 맵을 동적으로 조합하는 게이팅 마스크를 학습하는 소프트 주의 메커니즘을 도입한다.
• 각 브랜치가 특정 머리 크기 범위에 특화되도록 정규화하는 척도 인지 손실 함수를 설계한다. 이는 일반화 능력을 향상시킨다.
• 기하학적 적응 및 경계상자 적응 방법을 조합하여 가짜 크기 애너테이션을 생성하는 자동 머리 크기 추정 기법을 개발한다.
• 특히 UCF-QNRF에서 극도로 큰 이미지를 다루기 위해 이미지 해상도 정규화를 사용한다.
• 중간 및 최종 출력에 다중 감독을 통해 엔드 투 엔드로 모델을 훈련시켜 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 다른 네트워크 층에서 유도된 다중 척도 밀도 예측이 심한 척도 변동성 하에서 군중 수세기 정확도를 향상시키는가?
• RQ2 다양한 척도 예측을 융합하는 학습 가능한 소프트 주의 메커니즘이 고정 또는 가중 평균 융합 전략보다 우수한가?
• RQ3 척도 인지 손실 함수가 각 네트워크 브랜치가 특정 머리 크기 범위에 특화되도록 효과적으로 이끌 수 있는가?
• RQ4 실제 크기 애너테이션 데이터가 없을 경우 제안된 자동 머리 크기 추정 기법의 효과는 어떠한가?
• RQ5 UCF-QNRF와 같은 대규모 데이터셋에서 사전 훈련을 수행하면 여러 벤치마크에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 UCF-QNRF, 상하이테크 A & B, UCF_CC_50를 포함한 네 가지 주요 벤치마크 데이터셋에서 모두 최고 성능을 달성한다.
• UCF-QNRF에서 기존 최고 성능 대비 평균 절대 오차(MAE)를 25% 이상 감소시켜 전체 훈련 시 97.5 MAE를 달성한다.
• 절단 분석 결과, 척도 인지 손실과 주의 메커니즘을 추가함으로써 성능 향상이 뚜렷하게 확인되었으며, MAE는 109.7에서 97.5로 감소하였다.
• UCF-QNRF에서의 사전 훈련은 모든 데이터셋에서 성능을 5~10% 향상시켰으며, 대규모 사전 훈련의 이점이 입증되었다.
• 정성적 결과에서는 특히 고밀도 영역에서 더 선명하고 정확도가 높은 국소화된 밀도 맵을 보여주었다.
• 각 네트워크 층은 고유한 척도 범위에 특화되어 있으며, 초기 층은 작은 머리 크기에 집중하고 깊은 층은 큰 머리 크기에 집중한다. 이는 절단 분석을 통해 검증되었다.