[논문 리뷰] FusionCount: Efficient Crowd Counting via Multiscale Feature Fusion

Yiming Ma, Víctor Sánchez외 1명|arXiv (Cornell University)|2022. 02. 28.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

FusionCount는 추가적인 다중스케일 모듈에 의존하지 않고 다수의 인코더 레이어에서 유래한 다중스케일 특징 병합을 활용함으로써 계산 비용을 크게 줄이며 상하이대학 A 및 B 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하는 효율적인 군중 수세기 모델을 제안한다. MAE와 RMSE가 모두 낮다.

ABSTRACT

State-of-the-art crowd counting models follow an encoder-decoder approach. Images are first processed by the encoder to extract features. Then, to account for perspective distortion, the highest-level feature map is fed to extra components to extract multiscale features, which are the input to the decoder to generate crowd densities. However, in these methods, features extracted at earlier stages during encoding are underutilised, and the multiscale modules can only capture a limited range of receptive fields, albeit with considerable computational cost. This paper proposes a novel crowd counting architecture (FusionCount), which exploits the adaptive fusion of a large majority of encoded features instead of relying on additional extraction components to obtain multiscale features. Thus, it can cover a more extensive scope of receptive field sizes and lower the computational cost. We also introduce a new channel reduction block, which can extract saliency information during decoding and further enhance the model's performance. Experiments on two benchmark databases demonstrate that our model achieves state-of-the-art results with reduced computational complexity.

연구 동기 및 목표

• 기존 군중 수세기 모델이 얕은 인코더 특징을 효율적으로 활용하지 못하고 비용이 많이 드는 다중스케일 모듈에 의존하는 한계를 해결한다.
• 정확도를 유지하거나 향상시키면서 다중스케일 특징 추출의 계산 복잡도를 줄인다.
• 디코딩 중에 특징의 중요도를 추출하는 새로운 채널 감소 블록을 도입하여 모델 성능을 향상시킨다.
• 추가 모듈 없이도 여러 인코더 단계의 특징을 활용해 광범위한 수신장(6에서 192까지)을 커버하는 것을 가능하게 한다.
• 기존 VGG 기반 모델들과 비교해 더 낮은 부동소수점 연산(FLOPs)으로 최신 기술 수준(SOTA) 성능을 달성한다.

제안 방법

• VGG-16의 첫 17개 레이어를 인코더로 사용하여, 레이어 3부터 시작해 다양한 수신장 크기를 가진 특징 맵을 수집한다.
• 같은 공간 해상도를 가진 특징을 그룹화하고 학습 가능한 가중치를 사용해 병합하여 첫 번째 단계의 특징 병합을 수행한다. 이를 통해 다중스케일 표현을 생성한다.
• 원시 특징이 아닌 대비 특징(constrast features)에서 주어진 약한 주의 힘(attention weights)을 계산하는 대비 특징 기반 병합 메커니즘을 도입하여 병합 품질을 향상시킨다.
• 채널 차원을 줄이면서도 중요한 정보를 유지하기 위해 점별 합성곱과 연결된 확장된 합성곱을 사용하는 채널 감소 모듈을 활용한다.
• 첫 번째 단계의 병합 특징과 채널 감소 특징을 융합하여 최종 밀도 맵을 생성하는 디코더를 사용한다.
• 추가적인 아키텍처 혁신 없이도 병합 및 감소 모듈을 제외한 표준 손실 함수(MSE, MAE)를 사용해 학습한다.

실험 결과

연구 질문

• RQ1 추가 모듈 없이도 여러 인코더 레이어에서 유래한 특징을 활용해 다중스케일 특징 표현을 효과적으로 캡처할 수 있는가?
• RQ2 최고 수준의 특징 맵만을 사용하는 것과 비교해 여러 인코더 단계의 특징을 융합하는 것이 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 제안된 대비 특징 기반 병합 메커니즘이 직접 특징 병합보다 성능 향상에 기여하는가?
• RQ4 채널 감소 모듈이 디코딩 중에 중요한 특징에 집중함으로써 모델 성능을 얼마나 향상시키는가?
• RQ5 기존 최신 기술 수준(SOTA) 방법들과 비교해 상당히 낮은 계산 비용으로 최신 기술 수준의 군중 수세기 정확도를 달성할 수 있는가?

주요 결과

• 상하이대학 B 데이터셋에서 FusionCount는 가장 낮은 MAE(6.9)와 RMSE(11.8)를 기록하며, CSRNet, CAN, BL, DM-Count를 포함한 모든 비교 모델을 능가한다.
• 상하이대학 A에서 FusionCount는 두 번째로 낮은 MAE(13.4)를 기록하여, 학습 난이도가 높은 데이터셋임에도 불구하고 뛰어난 성능을 보였다.
• 원시 특징을 사용하는 변형 모델은 MAE(7.6)와 RMSE(12.9)가 더 높아졌으며, 이는 대비 특징 기반 병합 메커니즘이 효과적임을 확인한다.
• 제거 실험 결과, 채널 감소 모듈 내 점별 합성곱과 확장된 합성곱 레이어 모두 필수적임을 입증하였으며, 둘 중 하나를 제거하면 MAE와 RMSE가 증가한다.
• FusionCount는 CAN 및 CSRNet 등의 모델과 비교해 더 낮은 FLOPs를 기록함으로써 상당히 감소된 계산 복잡도로 최신 기술 수준(SOTA) 성능을 달성했다.
• 정성적 결과는 매우 혼잡한 장면(예: 1,600명 이상, 상대 오차 1.98%)과 강한 스케일 변화 조건에서도 정확한 밀도 추정이 가능함을 보여주며, 모델의 강건성을 확인했다.