[논문 리뷰] Spatio-channel Attention Blocks for Cross-modal Crowd Counting

Youjia Zhang, So-Yun Choi외 1명|arXiv (Cornell University)|2022. 10. 19.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 RGB, 열화상, 깊이 모odalities 간의 공간적 및 채널별 주의를 공동으로 모델링함으로써 교차모달 군중 수세기 성능을 향상시키는 플러그 앤 플레이 모듈인 Cross-modal Spatio-Channel Attention (CSCA) 블록을 제안한다. 이 방법은 RGB-T 및 RGB-D 데이터셋에서 다양한 백본에서 성능을 향상시키며, 낮은 계산 부담으로 다중모달 특징을 효과적으로 융합함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Crowd counting research has made significant advancements in real-world applications, but it remains a formidable challenge in cross-modal settings. Most existing methods rely solely on the optical features of RGB images, ignoring the feasibility of other modalities such as thermal and depth images. The inherently significant differences between the different modalities and the diversity of design choices for model architectures make cross-modal crowd counting more challenging. In this paper, we propose Cross-modal Spatio-Channel Attention (CSCA) blocks, which can be easily integrated into any modality-specific architecture. The CSCA blocks first spatially capture global functional correlations among multi-modality with less overhead through spatial-wise cross-modal attention. Cross-modal features with spatial attention are subsequently refined through adaptive channel-wise feature aggregation. In our experiments, the proposed block consistently shows significant performance improvement across various backbone networks, resulting in state-of-the-art results in RGB-T and RGB-D crowd counting.

연구 동기 및 목표

• 다양한 조명 조건과 가림 현상 하에서 RGB, 열화상, 깊이 등의 이질적인 특징을 융합하는 데 도전하는 것.
• 기존의 RGB 기반 군중 수세기 백본에 대해 아키텍처 재설계 없이도 원활하게 통합 가능한 경량이며 재사용 가능한 모듈을 개발하는 것.
• 모달 간 정렬 오차와 노이즈로 인해 성능이 떨어지는 단순 융합 전략(예: 조기 융합 또는 후기 융합)의 한계를 극복하는 것.
• 공간적 및 채널 차원에서의 상호모달 및 내부모달 상관관계를 모두 포괄하는 적응형 동적 특징 융합을 가능하게 하는 것.

제안 방법

• CSCA 블록은 다양한 모달 간에 쿼리, 키, 밸류 특징을 사용하여 교차모달 주의를 계산하는 공간적 교차모달 주의(Spatial-wise Cross-modal Attention, SCA) 모듈을 활용하며, 이는 계산 비용을 줄이며 전반적인 공간 상관관계 모델링을 가능하게 한다.
• SCA는 공간 수준에서 특징 맵을 재구성함으로써 표준 비국소 블록에 비해 높은 비용이 들지 않는 장거리 의존성 간의 관계를 효율적으로 포착한다.
• 채널별 특징 융합(Channel-wise Feature Aggregation, CFA) 모듈은 공간적으로 주의를 받은 특징을 채널별 가중치를 학습함으로써 재조정하여 구분 능력 있는 표현을 향상시킨다.
• CSCA 블록은 플러그 앤 플레이 모듈로 설계되어 BL, ResNet 등의 사전 학습된 단모달 백본에 재학습 없이도 쉽게 통합할 수 있다.
• 학습 가능한 주의 메커니즘을 사용하여 모달별 특징 분포에 따라 주의 가중치를 동적으로 조정함으로써 노이즈 및 조도 변화에 대한 강건성을 향상시킨다.
• 아키텍처는 RGB-T 및 RGB-D 데이터셋에서 평가되었으며, 다양한 백본 네트워크와 융합 전략에서 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 아키텍처 재설계 없이도 RGB, 열화상, 깊이 등의 다중모달 특징을 효과적으로 융합할 수 있는 경량이며 모듈화된 주의 메커니즘이 군중 수세기에서 성능을 향상시킬 수 있는가?
• RQ2 기본 비국소 블록 또는 단순 융합 방법과 비교해 볼 때, 제안된 CSCA 블록은 정확도 및 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 CSCA는 교차모달 환경에서 다양한 조도 조건과 노이즈 수준에 대해 얼마나 성능 향상을 이룰 수 있는가?
• RQ4 다양한 모달 데이터의 보완적 융합이 어려운 군중 수세기 시나리오에서 단모달(RGB 전용 또는 단일 모달) 접근 방식을 항상 능가하는가?

주요 결과

• CSCA 블록은 RGBT-CC 및 상하이테크RGBD 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, 다양한 백본 네트워크에서 기존 방법들을 능가하였다.
• 상하이테크RGBD 데이터셋에서 BL 백본을 사용한 결과, 저조도 조건 하에서 단일 모달 RGB(RMSE: 87.29) 및 열화상 전용(RMSE: 28.45) 기준선보다 유의미하게 높은 성능(RMSE: 24.74)을 기록하였다.
• 제거 실험 결과, SCA 또는 CFA 모듈을 제거할 경우 성능 저하가 심각하게 발생함을 확인하였으며, 이는 두 모듈 간의 상호보완적 역할을 입증한다.
• SCA를 표준 비국소 블록으로 대체할 경우 고해상도 이미지(1920×1080)에서 메모리 초과 오류가 발생함을 확인하였으며, 이는 CSCA의 뛰어난 계산 효율성을 입증한다.
• 시각화 결과는 CSCA가 저조도 환경에서 열화상 데이터를 효과적으로 활용하고 깊이 데이터의 노이즈 유발 오류를 줄여 정밀도를 향상시킴을 보여주었다.
• 다양한 입력 설정(단일 모달 RGB, 단일 모달 열화상, 다중모달 RGB-T)에서 일관되게 성능 향상을 보였으며, 이는 본 방법의 강건성과 일반화 능력을 확인한다.