[논문 리뷰] Siamese Infrared and Visible Light Fusion Network for RGB-T Tracking

Jingchao Peng, Haitao Zhao외 3명|arXiv (Cornell University)|2021. 03. 12.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 15

한 줄 요약

이 논문은 적외선 및 가시광선 특징을 보완적 특징 융합 네트워크(CFFN)와 기여 집계 네트워크(CAN)를 통해 융합하는 사일리언스 융합 네트워크인 SiamIVFN을 제안한다. 이 방법은 두 가지 벤치마크 데이터셋에서 147.6 FPS의 추론 속도를 기록하며 최신 기술 수준의 성능을 달성하며, 적응형 특징 융합 및 이질성 보정을 통해 다양한 조명 조건에서도 강인함을 입증한다.

ABSTRACT

Due to the different photosensitive properties of infrared and visible light, the registered RGB-T image pairs shot in the same scene exhibit quite different characteristics. This paper proposes a siamese infrared and visible light fusion Network (SiamIVFN) for RBG-T image-based tracking. SiamIVFN contains two main subnetworks: a complementary-feature-fusion network (CFFN) and a contribution-aggregation network (CAN). CFFN utilizes a two-stream multilayer convolutional structure whose filters for each layer are partially coupled to fuse the features extracted from infrared images and visible light images. CFFN is a feature-level fusion network, which can cope with the misalignment of the RGB-T image pairs. Through adaptively calculating the contributions of infrared and visible light features obtained from CFFN, CAN makes the tracker robust under various light conditions. Experiments on two RGB-T tracking benchmark datasets demonstrate that the proposed SiamIVFN has achieved state-of-the-art performance. The tracking speed of SiamIVFN is 147.6FPS, the current fastest RGB-T fusion tracker.

연구 동기 및 목표

• RGB-T 추적에서 서로 다른 광민감성 특성을 지닌 적외선 및 가시광선 영상의 융합 과제를 해결하기 위해.
• 두 모odal의 보완적 특징을 적응적으로 조합하여 다양한 조도 조건에서도 추적 강인성을 향상시키기 위해.
• 정확도를 유지하면서도 실시간 추론을 달성하는 경량이면서 고속의 융합 네트워크를 설계하기 위해.
• RGB 및 열화상 영상 쌍 간의 공간적 이질성 문제를 특징 수준의 융합과 부분적으로 결합된 필터를 통해 처리하기 위해.

제안 방법

• 네트워크는 가시광선 및 적외선 영상을 처리하기 위한 두 개의 병렬 스트림을 갖는 사일리언스 아키텍처를 사용한다.
• 보완적 특징 융합 네트워크(CFFN)는 레이어 간에 부분적으로 결합된 필터를 사용하여 다중 수준에서 두 모달의 특징을 융합한다.
• CFFN은 RGB 및 열화상 영상 쌍 간의 공간적 이질성에 대해 강인한 특징 수준의 융합을 가능하게 한다.
• 기여 집계 네트워크(CAN)는 현재 환경 조건에 따라 적외선 및 가시광선 특징의 중요도를 적응적으로 계산한다.
• 융합 과정은 모달 기여도를 동적으로 조정하여 저조도 또는 고강도 반사 조건에서도 강인성을 향상시킨다.
• 전체 네트워크는 엔드 투 엔드로 훈련 가능하며, 표준 벤치마크에서 147.6 FPS의 실시간 추론을 최적화한다.

실험 결과

연구 질문

• RQ1 어떻게 다양한 조도 조건에서 추적 정확도를 향상시키기 위해 적외선 및 가시광선 특징을 효과적으로 융합할 수 있는가?
• RQ2 딥 러닝 기반 추적 프레임워크에서 RGB 및 열화상 영상 쌍 간의 공간적 이질성을 최적의 방식으로 다룰 수 있는가?
• RQ3 적응형 모달 가중치를 갖는 사일리언스 아키텍처가 곤경스러운 시각 추적 시나리오에서 강인성을 향상시킬 수 있는가?
• RQ4 특징 융합을 어떻게 설계하여 최신 기술 수준의 성능을 달성하면서도 고속 추론을 유지할 수 있는가?
• RQ5 다양한 환경 조건에서 적외선 대비 가시광선 특징의 기여 비율은 무엇이며, 이를 어떻게 적응적으로 학습할 수 있는가?

주요 결과

• SiamIVFN은 두 가지 주요 RGB-T 추적 벤치마크에서 기존 융합 기반 추적기들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 이 추적기는 147.6 FPS로 작동하여 지금까지 보고된 바 있는 가장 빠른 RGB-T 융합 추적기이다.
• 기여 집계 네트워크(CAN)는 적외선 및 가시광선 특징의 동적 가중치를 가능하게 하여 저조도 또는 고강도 반사 조건에서도 강인성을 향상시킨다.
• CFFN의 부분적으로 결합된 필터 설계는 RGB 및 열화상 영상 쌍 간의 공간적 이질성 문제를 효과적으로 처리한다.
• 절단 실험 결과 CFFN과 CAN이 성능 향상에 기여하며, 특히 다양한 조도 조건에서 CAN의 기여가 두드러진다.
• 적응형 융합 메커니즘과 강인한 특징 표현 덕분에 모델은 다양한 환경에서 잘 일반화된다.