[논문 리뷰] Scale-Aware Network with Regional and Semantic Attentions for Crowd Counting under Cluttered Background

Qiaosi Yi, Yunxing Liu외 4명|arXiv (Cornell University)|2021. 01. 05.

Video Surveillance and Tracking Methods참고 문헌 56인용 수 8

한 줄 요약

이 논문은 혼잡한 배경과 척도 변화에 대응하기 위해 영역 및 의미적 주의 메커니즘을 통합한 스케일 인식 형식의 군중 수세기 네트워크(SACCN)를 제안한다. 비대칭 다중 척도 모듈, 영역 주의 기반의 밀집 및 스킵 연결, 이중 주의 모듈(RAM 및 SAM)을 활용한 U-형 인코더-디코더 아키텍처를 통해, 상해난시 군중 수세기 데이터셋에서 MAE를 6.8로, MSE를 10.5로 감소시켜 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Crowd counting is an important task that shown great application value in public safety-related fields, which has attracted increasing attention in recent years. In the current research, the accuracy of counting numbers and crowd density estimation are the main concerns. Although the emergence of deep learning has greatly promoted the development of this field, crowd counting under cluttered background is still a serious challenge. In order to solve this problem, we propose a ScaleAware Crowd Counting Network (SACCN) with regional and semantic attentions. The proposed SACCN distinguishes crowd and background by applying regional and semantic self-attention mechanisms on the shallow layers and deep layers, respectively. Moreover, the asymmetric multi-scale module (AMM) is proposed to deal with the problem of scale diversity, and regional attention based dense connections and skip connections are designed to alleviate the variations on crowd scales. Extensive experimental results on multiple public benchmarks demonstrate that our proposed SACCN achieves satisfied superior performances and outperform most state-of-the-art methods. All codes and pretrained models will be released soon.

연구 동기 및 목표

• 실세계 환경에서 혼잡한 배경과 심한 척도 변화에 의한 군중 수세기 과제를 지속적으로 해결하기 위해.
• 복잡한 시각 환경에서 군중 밀도 추정 및 총 수 예측 정확도를 향상시키기 위해.
• 얕은 층과 깊은 층에서 모두 주의 메커니즘을 활용해 군중(전경)과 배경을 구분함으로써 특징 표현을 향상시키기 위해.
• 새로운 비대칭 다중 척도 모듈과 U-Net 스타일 아키텍처에서 주의 기반 특징 재사용을 통해 척도 변화 영향을 완화하기 위해.
• 통합된 아키텍처 혁신을 통해 공개된 군중 수세기 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 스케일에 따라 효과적인 특징 재사용을 가능하게 하는 U-형 인코더-디코더 아키텍처를 가진 스케일 인식 형식의 군중 수세기 네트워크(SACCN)를 제안한다.
• 얕은 층에서 공간적 및 채널 방향 주의를 통합한 영역 주의 모듈(RAM)을 도입하여 군중 영역을 강조한다.
• 깊은 층에서 공간적 및 채널 자기 주의를 사용하여 군중과 배경 간의 의미적 구분 능력을 향상시키는 의미 주의 모듈(SAM)을 설계한다.
• 1×3 및 3×1 또는 1×5 및 5×1 컨볼루션을 사용하여 다중 척도 특징을 효율적으로 캡처하는 비대칭 다중 척도 모듈(AMM)을 활용한다. 이는 더 적은 파라미터로도 성능을 유지한다.
• 인코더에서 영역 주의 기반의 밀집 연결과 인코더-디코더 간의 영역 주의 기반 스킵 연결을 도입하여 특징 집합을 향상시킨다.
• 다양한 해상도의 특징에서 상호 보완 정보를 활용하는 다단계 특징 융합 전략을 통해 척도 변화에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 얕은 층과 깊은 층에서 주의 메커니즘을 효과적으로 적용하여 혼잡한 배경에서 군중을 구분할 수 있는가?
• RQ2 비대칭 다중 척도 컨볼루션은 모델 복잡도를 줄이면서도 특징 표현 능력을 얼마나 향상시킬 수 있는가?
• RQ3 영역 주의 기반의 밀집 연결 및 스킵 연결은 척도 변화가 있는 군중 환경에서 특징 재사용을 어떻게 향상시키고 성능을 향상시키는가?
• RQ4 RAM, SAM, AMM 및 연결 모듈이 혼잡한 배경과 척도 변화 영향을 완화하는 데 각각 기여하는 바와 함께 통합적으로 기여하는 바는 무엇인가?
• RQ5 통합된 네트워크 아키텍처가 도전적인 실세계 조건에서 여러 공개 벤치마크에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 SACCN는 상해난시 군중 수세기 데이터셋에서 평균 절대 오차(MAE) 6.8과 평균 제곱 오차(MSE) 10.5를 기록하여 대부분의 최신 기술 수준 방법들을 능가한다.
• 제거 실험 결과 RAM 또는 SAM을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이들이 군중과 배경을 구분하는 데 핵심적인 역할을 한다는 것을 입증한다.
• AMM에서 비대칭 컨볼루션을 사용함으로써 모델 파라미터를 감소시키면서도 성능을 유지함을 입증하여, 기존 3×3 또는 5×5 컨볼루션 대비 효율성 향상을 보였다.
• 밀집 연결 또는 스킵 연결을 제거할 경우 정확도가 낮아지며, 이는 기울기 소실 문제 완화 및 특징 표현 향상에 이들이 중요한 역할을 한다는 것을 확인한다.
• 시각화 결과 SACCN가 생성한 밀도 맵이 기준 모델보다 지도 데이터에 훨씬 가까운 것으로 나타났으며, 특히 혼잡하고 척도가 다양하게 분포된 영역에서 뚜렷한 우수성을 보였다.
• RAM, SAM, AMM 및 주의 기반 연결 모듈의 조합이 최고의 성능을 낼 수 있었으며, 각 구성 요소가 혼잡한 배경과 척도 변화 문제를 다루는 데 독자적인 기여를 하였다.