[논문 리뷰] Rethinking Global Context in Crowd Counting

Guolei Sun, Yun Liu외 4명|arXiv (Cornell University)|2021. 05. 23.

Video Surveillance and Tracking Methods참고 문헌 87인용 수 9

한 줄 요약

이 논문은 시각 트랜스포머 기반의 인파 수세기 방법을 제안하며, 전역적 맥락 모델링을 향상시키기 위해 맥락 토큰과 토큰-어텐션 모듈(TAM)을 도입하여 채널별 특징을 재조정하고, 총 인원 수를 감독하기 위해 회귀 토큰 모듈(RTM)을 사용한다. 이 방법은 여러 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기준 모델 대비 MAE를 최대 4.2점 감소시킨다.

ABSTRACT

This paper investigates the role of global context for crowd counting. Specifically, a pure transformer is used to extract features with global information from overlapping image patches. Inspired by classification, we add a context token to the input sequence, to facilitate information exchange with tokens corresponding to image patches throughout transformer layers. Due to the fact that transformers do not explicitly model the tried-and-true channel-wise interactions, we propose a token-attention module (TAM) to recalibrate encoded features through channel-wise attention informed by the context token. Beyond that, it is adopted to predict the total person count of the image through regression-token module (RTM). Extensive experiments on various datasets, including ShanghaiTech, UCF-QNRF, JHU-CROWD++ and NWPU, demonstrate that the proposed context extraction techniques can significantly improve the performance over the baselines.

연구 동기 및 목표

• 기하학적 또는 의미적 시나리오 지식이 명시적으로 제공되지 않은 상황에서 전역적 맥락의 역할을 조사하는 것.
• 비전 트랜스포머가 채널 간 특징 상호작용을 모델링하는 데에 한계를 보이는 문제를 해결하기 위한 것.
• 맥락 인식 어텐션 메커니즘과 보조 감독을 도입하여 밀도 맵 예측 및 총 인원 수 회귀 예측 성능을 향상시키기 위한 것.
• 전용 맥락 토큰을 통한 명시적 전역 맥락 모델링이 조밀한 인파 수세기에서 성능 향상에 크게 기여함을 입증하는 것.

제안 방법

• 겹치는 이미지 패치에서 전역 특징을 추출하기 위해 비전 트랜스포머를 사용하며, 입력 시퀀스에 전역 이미지 맥락을 나타내는 전용 맥락 토큰을 추가한다.
• 토큰-어텐션 모듈(TAM)은 맥락 토큰을 기반으로 어텐션 가중치를 계산하여 채널 간 특징 재조정을 수행함으로써 채널 간 의존성을 가능하게 한다.
• 회귀 토큰 모듈(RTM)은 이미지 내 총 인원 수를 예측하고 맥락 토큰의 학습을 안내하기 위한 보조 손실을 제공한다.
• 최종 특징 맵은 두 개의 디컨볼루션 레이어를 통해 업샘플링되어 예측된 인파 밀도 맵을 생성한다.
• 모델은 픽셀 단위의 밀도 맵 손실과 총 수세기 회귀 손실을 조합한 복합 손실로 훈련되며, λr를 통해 하이퍼파rameter 제어가 가능하다.
• 모델은 상하이테크, UCF-QNRF, JHU-CROWD++, NWPU의 네 가지 표준 데이터셋에서 평가되며, MAE와 MSE를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 기하학적 또는 의미적 감독 없이도 전용 맥락 토큰을 갖춘 비전 트랜스포머가 인파 수세기에서 효과적으로 전역 시나리오 맥락을 모델링할 수 있는가?
• RQ2 비전 트랜스포머 맥락에서 제안된 토큰-어텐션 모듈(TAM)은 SE 및 CBAM와 같은 전통적인 채널 어텐션 메커니즘보다 어떻게 비교되는가?
• RQ3 회귀 토큰 모듈(RTM)을 통한 보조 감독이 총 인원 수 예측 정확도와 밀도 맵 추정 성능을 향상시키는가?
• RQ4 총 회귀 손실 기여도를 제어하는 하이퍼파rameter λr의 변화에 대해 제안된 방법의 성능은 얼마나 견고한가?
• RQ5 제안된 전역 맥락 모델링 기법의 성능 향상은 데이터셋 크기에 따라 비례하는가?

주요 결과

• 제안된 방법은 상하이테크 A 데이터셋에서 평균 절대 오차(MAE) 53.1을 기록하며, 기준 모델 대비 4.2점 향상되었다.
• 토큰-어텐션 모듈(TAM)은 기준 모델 대비 MAE를 2.2점 감소시키고 MSE를 2.8점 감소시켰으며, 맥락 인식 어텐션을 활용함으로써 SE 및 CBAM 모듈을 능가하는 성능을 보였다.
• TAM과 회귀 토큰 모듈(RTM)을 결합하면 가장 우수한 성능을 기록하였으며, 기준 모델 대비 MAE는 4.2점, MSE는 6.8점 감소시켰다.
• 모델은 하이퍼파rameter λr에 대해 뛰어난 견고성을 보였으며, 0.01에서 1.0의 넓은 범위에서 성능 저하가 최소한이었다.
• 대규모 데이터셋(JHU-CROWD++ 및 NWPU)에서는 소규모 데이터셋(상하이테크 및 UCF-QNRF)보다 훨씬 더 큰 성능 향상을 기록하였으며, 이는 데이터 스케일이 전역 맥락 모델링의 효과성에 영향을 미친다는 것을 시사한다.
• 실패 사례는 주로 훈련 데이터에 잘 반영되지 않은 저품질 또는 저대비 입력 이미지에서 기인하며, 이는 열악한 시각 조건 하에서의 일반화 문제를 시사한다.