[논문 리뷰] TAFNet: A Three-Stream Adaptive Fusion Network for RGB-T Crowd Counting

Haihan Tang, Yi Wang외 1명|arXiv (Cornell University)|2022. 02. 17.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

TAFNet는 RGB-T 혼합 집단 수세기 위해 삼중 스트림 적응형 융합 네트워크를 제안한다. 주 스트림은 RGB-열화상 특징을 융합하고, 두 개의 보조 스트림은 모odal별 특징을 처리하며, 정보 향상 모듈(IIM)을 통해 특징을 적응적으로 융합한다. 이 방법은 RGBT-CC 데이터셋에서 최신 기술 대비 RMSE와 MAE 모두 20% 이상 향상되었으며, 밝고 어두운 환경 모두에서 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose a three-stream adaptive fusion network named TAFNet, which uses paired RGB and thermal images for crowd counting. Specifically, TAFNet is divided into one main stream and two auxiliary streams. We combine a pair of RGB and thermal images to constitute the input of main stream. Two auxiliary streams respectively exploit RGB image and thermal image to extract modality-specific features. Besides, we propose an Information Improvement Module (IIM) to fuse the modality-specific features into the main stream adaptively. Experiment results on RGBT-CC dataset show that our method achieves more than 20% improvement on mean average error and root mean squared error compared with state-of-the-art method. The source code will be publicly available at https://github.com/TANGHAIHAN/TAFNet.

연구 동기 및 목표

• RGB-only 방법이 실패하는 저조도 조건에서 정확도가 떨어지는 집단 수세기 문제를 해결한다.
• 초기 융합 과정에서 모달별 세부 정보를 손실할 수 있는 이중 스트림 융합 아키텍처의 한계를 극복한다.
• 조합 특징과 모달별 특징을 적응적으로 융합함으로써 RGB-T 집단 수세기의 특징 표현을 향상시킨다.
• 밝고 어두운 환경 간의 다양한 조명 조건에서 균형 잡히고 정확한 성능을 달성한다.
• 정보 향상 모듈(IIM)을 갖춘 새로운 삼중 스트림 아키텍처를 제안하여 특징 융합을 향상시키고 중복을 줄인다.

제안 방법

• 삼중 스트림 네트워크 아키텍처를 사용: 하나의 주 스트림은 RGB 및 열화상 이미지 쌍을 연결하여 처리하고, 두 개의 보조 스트림은 RGB 및 열화상 이미지를 별도로 처리하여 모달별 특징을 추출한다.
• 다중 단계에서 특징을 추출하기 위해 세 개의 VGG16 백본을 사용하여 스트림 간 융합 지점 간의 정렬을 보장한다.
• 정보 향상 모듈(IIM)을 도입하여, 주 스트림의 조합 특징과 보조 스트림의 모달별 특징을 학습 가능한 주의 메커니즘을 통해 적응적으로 융합한다.
• IIM 내부에서 채널별 주의 모듈(CAO)과 공간별 주의 모듈(SAO)을 구현하여 융합된 특징에서 중요한 채널과 공간 영역을 강조한다.
• 주 스트림의 최종 합성곱층 뒤에 회귀 헤드를 적용하여 최종 밀도 맵을 예측한다.
• 단일 RTX 2080 Ti GPU에서 Adam 옵timizer를 사용하여 학습하며, 가중치 감소는 1e-4, 초기 학습률은 1e-5로 설정하고 약 11시간 동안 학습한다.

실험 결과

연구 질문

• RQ1 전용 모달별 스트림을 갖춘 삼중 스트림 아키텍처가 이중 스트림 융합 대비 RGB-T 집단 수세기에서 특징 표현을 향상시키는가?
• RQ2 IIM를 통한 조합 특징 및 모달별 특징의 적응적 융합이 고정 또는 초기 융합 전략보다 성능을 향상시키는가?
• RQ3 제안된 방법이 단일 모달 방법이 실패하는 밝고 어두운 조명 조건에서도 일관되고 정확한 성능을 달성할 수 있는가?
• RQ4 IIM 모듈이 다중 모달 융합 과정에서 부정확한 정보를 줄이고 관련 특징을 강화하는 데 얼마나 효과적인가?
• RQ5 삼중 스트림 설계가 도전적인 조명 조건에서 일반화 능력과 내구성을 얼마나 향상시키는가?

주요 결과

• TAFNet는 RGBT-CC 데이터셋에서 RMSE 22.45, GAME(0) 12.38을 기록하여 이전 최신 기술인 CMCRL(RMSE: 28.18, GAME(0): 15.61)를 초월했으며, GAME(0)는 20.7% 향상되고 RMSE는 20.3% 향상되었다.
• 밝은 조건에서는 TAFNet이 CMCRL 대비 GAME(0) 23.5% 향상되고 RMSE는 25.5% 향상되어 고조도 환경에서 뚜렷한 성과를 보였다.
• 어두운 조건에서도 TAFNet은 CMCRL를 초월하여 GAME(2)는 6.4% 향상되고 RMSE는 5.3% 향상되어 조명 극한 상황에서도 뛰어난 내구성을 입증했다.
• 제거 실험 결과, IIM 모듈 및 그 내부의 CAO&SAO 구성 요소가 필수적임을 확인했으며, 이들을 제거하면 전체 모델 대비 GAME(0)가 3.96점 상승했다.
• IIM를 갖춘 삼중 스트림 아키텍처는 모든 평가 지표에서 가장 낮은 오차를 기록하여, 모달별 특징 학습과 적응적 융합이 성능 향상에 핵심적임을 입증했다.
• 이전 방법들이 고조도 또는 저조도에서 성능이 저하되는 경향이 있는 데 비해, TAFNet는 밝고 어두운 조건 간에 더 안정적인 성능을 보였다.