[논문 리뷰] Removal then Selection: A Coarse-to-Fine Fusion Perspective for RGB-Infrared Object Detection

Tianyi Zhao, Maoxun Yuan외 3명|arXiv (Cornell University)|2024. 01. 19.

Advanced Image Fusion Techniques인용 수 5

한 줄 요약

RSDet는 RGB와 IR 특징을 거친-정밀 융합 프레임워크로 결합하기 위해 Redundant Spectrum Removal 모듈과 Dynamic Feature Selection 모듈을 도입하여 RGB-IR 객체 탐지를 개선합니다. 다수의 RGB-IR 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

In recent years, object detection utilizing both visible (RGB) and thermal infrared (IR) imagery has garnered extensive attention and has been widely implemented across a diverse array of fields. By leveraging the complementary properties between RGB and IR images, the object detection task can achieve reliable and robust object localization across a variety of lighting conditions, from daytime to nighttime environments. Most existing multi-modal object detection methods directly input the RGB and IR images into deep neural networks, resulting in inferior detection performance. We believe that this issue arises not only from the challenges associated with effectively integrating multimodal information but also from the presence of redundant features in both the RGB and IR modalities. The redundant information of each modality will exacerbates the fusion imprecision problems during propagation. To address this issue, we draw inspiration from the human brain's mechanism for processing multimodal information and propose a novel coarse-to-fine perspective to purify and fuse features from both modalities. Specifically, following this perspective, we design a Redundant Spectrum Removal module to remove interfering information within each modality coarsely and a Dynamic Feature Selection module to finely select the desired features for feature fusion. To verify the effectiveness of the coarse-to-fine fusion strategy, we construct a new object detector called the Removal then Selection Detector (RSDet). Extensive experiments on three RGB-IR object detection datasets verify the superior performance of our method.

연구 동기 및 목표

• 융합 과정에서 모달리티 특이 잡음을 완화하여 강건한 RGB-IR 객체 탐지를 촉진한다.
• 인간의 다중감각 처리에서 영감을 받은 거친-정밀 융합 패러다임을 제안한다.
• Redundant Spectrum Removal 모듈과 Dynamic Feature Selection 모듈이 포함된 RSDet를 개발한다.
• 광범위한 실험을 통해 다수의 RGB-IR 데이터세트에서 우수한 성능을 입증한다.

제안 방법

• RGB 및 IR 특징을 정제하고 융합하기 위한 Coarse-to-Fine Fusion을 도입하여.
• Redundant Spectrum Removal (RSR): 모달리티별로 관련 없는 스펙트럼을 제거하기 위한 동적 주파수 도메인 필터링.
• Dynamic Feature Selection (DFS): 다중 스케일 모달리티 특징을 게이트하고 융합하기 위한 스케일 인식 전문가의 혼합.
• 공유-특정 표현 학습으로 공유 특성과 모달리티-특이적 특징을 분리한다.
• 공유/특정 특징에 대한 상호정보 기반 감독으로 Faster R-CNN 기반 RSDet에 통합한다.

실험 결과

연구 질문

• RQ1 거친-정밀 융합이 융합 전에 모달리티 잡음을 줄여 RGB-IR 객체 탐지를 개선할 수 있는가?
• RQ2 RSR 및 DFS 모듈이 RGB-IR 탐지기의 성능 향상에 개별적으로 또는 공동으로 기여하는가?
• RQ3 KAIST, FLIR, LLVIP 데이터셋에서 RSDet가 최첨단 다분광 탐지기와 비교해 어떤 성능을 보이는가?

주요 결과

• RSDet는 All-day/night 설정에서 KAIST에서 최첨단 성능을 달성하고, Near, Medium, Far 스케일에서도 강한 성능을 보인다.
• 아블레이션 실험에서 RSR은 측정 가능한 이점을 제공하고; DFS는 상당한 개선을 가져오며 특히 FLIR 및 LLVIP 데이터셋에서 두드러진다.
• RSDet는 FLIR 및 LLVIP 데이터셋에서 mAP@50 및 mAP 지표에서 여러 베이스라인보다 우수하다.