[논문 리뷰] Scale-Aware Attention Network for Crowd Counting

Rahul Rama Varior, Bing Shuai외 2명|arXiv (Cornell University)|2019. 01. 17.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 20

한 줄 요약

이 논문은 단일 순방향 전파에서 컨볼루션 신경망의 다양한 레이어로부터 다중 척도 밀도 예측을 생성하는 스케일 인식 주의망을 제안한다. 학습 가능한 소프트 주의 메커니즘과 스케일 인식 손실을 활용하여 군중 수세기 성능을 향상시킨다. 이는 UCF-QNRF에서 상대적 개선률 25%와 다른 데이터셋에서 약 10%의 성능 향상을 기록하며, 추가적인 기능 없이도 최신 기술 수준을 달성한다.

ABSTRACT

In crowd counting datasets, people appear at different scales, depending on their distance to the camera. To address this issue, we propose a novel multi-branch scale-aware attention network that exploits the hierarchical structure of convolutional neural networks and generates, in a single forward pass, multi-scale density predictions from different layers of the architecture. To aggregate these maps into our final prediction, we present a new soft attention mechanism that learns a set of gating masks. Furthermore, we introduce a scale-aware loss function to regularize the training of different branches and guide them to specialize on a particular scale. As this new training requires ground-truth annotations for the size of each head, we also propose a simple, yet effective technique to estimate it automatically. Finally, we present an ablation study on each of these components and compare our approach against the literature on 4 crowd counting datasets: UCF-QNRF, ShanghaiTech A & B and UCF_CC_50. Without bells and whistles, our approach achieves state-of-the-art on all these datasets. We observe a remarkable improvement on the UCF-QNRF (25%) and a significant one on the others (around 10%).

연구 동기 및 목표

• 카메라와의 거리에 따라 사람의 척도가 다양해지는 군중 수세기 문제를 해결한다.
• 사람들이 매우 다른 척도로 나타나는 고밀도 군중 상황에서 정확도를 향상시킨다.
• 다양한 네트워크 레이어에서 유도된 계층적 특징을 활용해 스케일 인식 예측을 개발한다.
• 다중 척도 예측을 동적으로 가중하기 위해 학습 가능한 주의 메커니즘을 도입한다.
• 각 네트워크 브랜치가 특정 척도 범위에 특화되도록 유도하기 위해 스케일 인식 손실 함수를 설계한다.

제안 방법

• 다양한 CNN 레이어에서 밀도 맵을 추출하는 다중 브랜치 아키텍처를 제안하며, 각 브랜치는 특정 척도 범위에 민감하다.
• 다중 척도 밀도 맵을 최종 예측으로 통합하기 위해 학습 가능한 게이팅 마스크를 학습하는 소프트 주의 메커니즘을 도입한다.
• 각 브랜치가 특정 척도에 특화되도록 척도별 지도를 사용하는 스케일 인식 손실 함수를 설계한다.
• 실제 척도 크기가 제공되지 않을 경우, 가상의 척도 애너테이션을 생성하기 위해 자동 헤드 크기 추정 기법을 개발한다.
• 모든 다중 척도 예측과 주의 기반 융합을 단일 순방향 전파로 수행하여 추론 효율성을 확보한다.
• 백본 네트워크의 여러 스테이지에서의 특징 맵을 활용하여 세밀한 해상도와 굵은 척도의 군중 패턴을 모두 포착한다.

실험 결과

연구 질문

• RQ1 계층적 특징을 활용하여 단일 딥 네트워크가 다중 척도에서 군중 밀도를 효과적으로 예측할 수 있는가?
• RQ2 추가 지도 없이도 다중 척도 밀도 맵을 최적의 방식으로 융합할 수 있도록 주의 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 스케일 인식 손실 함수가 개별 브랜치의 특정 척도 범위에 대한 특화를 얼마나 향상시키는가?
• RQ4 제안된 자동 헤드 크기 추정 기법이 수동 척도 애너테이션 없이도 스케일 인식 학습을 효과적으로 가능하게 하는가?
• RQ5 주의 메커니즘과 스케일 인식 손실의 통합이 다양한 군중 수세기 벤치마크에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• 제안된 방법은 UCF-QNRF, 상하이테크 A & B, UCF_CC_50의 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• UCF-QNRF에서 이전 방법 대비 25%의 상대적 개선률을 기록하며, 극도로 높은 밀도 상황에서 뛰어난 성능 향상을 입증한다.
• 상하이테크 A 및 B, UCF_CC_50에서 이전 최신 기술 수준의 접근 방식 대비 약 10%의 유의미한 성능 향상을 달성한다.
• 제거 실험을 통해 스케일 인식 손실과 소프트 주의 메커니즘이 성능 향상에 핵심적인 역할을 한다는 것이 확인된다.
• 자동 헤드 크기 추정 기법은 수동 척도 애너테이션 없이도 효과적인 스케일 지도를 가능하게 한다.
• 이 모델은 다중 척도 처리에도 불구하고 단일 순방향 전파로 이러한 성능을 달성하여 높은 추론 효율성을 유지한다.