[논문 리뷰] Beyond Night Visibility: Adaptive Multi-Scale Fusion of Infrared and Visible Images

Shufan Pei, Junhong Lin외 3명|arXiv (Cornell University)|2024. 03. 02.

Advanced Image Fusion Techniques인용 수 4

한 줄 요약

이 논문은 적외선 및 가시광선 영상에서 저조도 및 조도 영향에 의한 열화를 동시에 다루어 야간 시야를 향상시키는 적응형 다중 척도 융합 네트워크인 AMFusion을 제안한다. 새로운 조도 손실를 통해 공간(조도 인지) 및 의미(감지 유도) 특징을 별도로 융합함으로써, 시각적 품질을 향상시키고 보행자 감지에서 mAP50→95가 61.7%에 도달하여 최신 기술을 초월한다.

ABSTRACT

In addition to low light, night images suffer degradation from light effects (e.g., glare, floodlight, etc). However, existing nighttime visibility enhancement methods generally focus on low-light regions, which neglects, or even amplifies the light effects. To address this issue, we propose an Adaptive Multi-scale Fusion network (AMFusion) with infrared and visible images, which designs fusion rules according to different illumination regions. First, we separately fuse spatial and semantic features from infrared and visible images, where the former are used for the adjustment of light distribution and the latter are used for the improvement of detection accuracy. Thereby, we obtain an image free of low light and light effects, which improves the performance of nighttime object detection. Second, we utilize detection features extracted by a pre-trained backbone that guide the fusion of semantic features. Hereby, we design a Detection-guided Semantic Fusion Module (DSFM) to bridge the domain gap between detection and semantic features. Third, we propose a new illumination loss to constrain fusion image with normal light intensity. Experimental results demonstrate the superiority of AMFusion with better visual quality and detection accuracy. The source code will be released after the peer review process.

연구 동기 및 목표

• 기존의 야간 시야 향상 기법이 저조도 영역을 향상시키는 동안 조도 영향을 증폭시키는 한계를 해결하기 위해.
• 야간 영상에서 저조도 및 과도 조도 문제를 동시에 완화할 수 있는 다중 모odal 융합 프레임워크를 개발하기 위해.
• 감지 유도 특징 융합을 활용하여 저조도 조건에서의 객체 감지 정확도를 향상시키기 위해.
• 융합 출력이 정상적인 조도 강도를 유지하도록 제약을 가하는 비지도 조도 손실을 설계하기 위해.
• 감지 유도 융합 모듈을 통해 감지 특징와 의미 특징 간 도메인 갭을 해소하기 위해.

제안 방법

• AMFusion은 적외선 및 가시광선 영상에서 공간적 및 의미적 표현을 위한 별도의 특징 추출을 수행한다.
• 조도 인지 감지 융합 모듈(IDFM)은 조도 정보를 사용하여 공간적 특징을 융합함으로써 조도 분포를 보정한다.
• 감지 유도 의미 융합 모듈(DSFM)은 사전 훈련된 감지 특징을 사용하여 의미적 특징 융합을 유도함으로써 감지 정확도를 향상시킨다.
• 공간적 특징과 융합된 의미적 특징을 조합하여 향상된 시각적 품질을 갖는 최종 융합 영상을 생성한다.
• 강도 및 조도 제어 성분으로 구성된 새로운 비지도 조도 손실은 출력에 현실적인 조도 분포를 보장한다.
• 시각적 정확도와 감지 성능을 최적화하기 위해 인지적, 감지, 조도 손실의 조합을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 적외선 및 가시광선 영상의 다중 척도 융합이 야간 영상에서 저조도 및 조도 영향 열화를 효과적으로 억제할 수 있는가?
• RQ2 사전 훈련된 모델의 감지 특징은 적외선-가시광선 영상 융합에서 의미적 특징 융합을 어떻게 향상시키는가?
• RQ3 비지도 조도 손실이 융합된 야간 영상의 현실성과 품질을 어느 정도 향상시키는가?
• RQ4 조도 영역에 기반한 적응형 융합 전략은 균일한 융합 전략에 비해 더 높은 감지 성능을 내는가?
• RQ5 공간적, 의미적, 조도 인지 모듈이 전체 융합 성능에 기여하는 상대적 기여도는 어떠한가?

주요 결과

• AMFusion은 M³FD+LLVIP 데이터셋에서 최고의 mAP50→95 61.7%를 기록하여 모든 베이스라인 방법을 능가한다.
• 모든 구성 요소(IDFM, DSFM, SRM, 전체 조도 손실)를 포함한 모델은 7.323 mAP50→95 점수로 최고의 감지 성능를 기록한다.
• 절단 실험 결과, IDFM, DSFM, SRM 각 모듈이 감지 정확도 및 시각적 품질 향상에 점진적으로 기여하는 것으로 확인된다.
• 조도 손실은 조도 분포를 크게 향상시키며, 전체 손실 설정에서 과도 조도를 감소시키고 현실성을 향상시켜 시각적 비교에서 명확히 드러난다.
• 감지 유도 의미 융합 모듈(DSFM)은 더 나은 특징 정렬과 대상 집중을 가능하게 하여 소형 객체인 보행자의 정확한 감지를 이끈다.
• 조도 손실을 제거할 경우 mAP50→95가 61.7%에서 60.4%로 감소하여, 이는 현실적인 조도를 유지하는 데 있어 조도 손실의 핵심적 역할을 입증한다.