[논문 리뷰] From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion

X. Rong Li, Yang Zou외 5명|arXiv (Cornell University)|2023. 12. 31.

Advanced Image Fusion Techniques인용 수 4

한 줄 요약

이 논문은 CLIP로 인코딩된 텍스트 기술을 활용하여 특징 정렬과 객체 검출 성능을 향상시키는 텍스트 유도형, 맥락 인지형 의미 융합 프레임워크를 제안한다. 특징 이산화를 위한 코드북과 융합 및 검출을 동시에 최적화하는 이중 최적화 전략을 통합함으로써, 다양한 벤치마크에서 최신 기술 수준(mAP)을 달성하였으며, 주요 기여로는 새로운 쌍체 IVIF+text 데이터셋을 제안한다.

ABSTRACT

With the rapid progression of deep learning technologies, multi-modality image fusion has become increasingly prevalent in object detection tasks. Despite its popularity, the inherent disparities in how different sources depict scene content make fusion a challenging problem. Current fusion methodologies identify shared characteristics between the two modalities and integrate them within this shared domain using either iterative optimization or deep learning architectures, which often neglect the intricate semantic relationships between modalities, resulting in a superficial understanding of inter-modal connections and, consequently, suboptimal fusion outcomes. To address this, we introduce a text-guided multi-modality image fusion method that leverages the high-level semantics from textual descriptions to integrate semantics from infrared and visible images. This method capitalizes on the complementary characteristics of diverse modalities, bolstering both the accuracy and robustness of object detection. The codebook is utilized to enhance a streamlined and concise depiction of the fused intra- and inter-domain dynamics, fine-tuned for optimal performance in detection tasks. We present a bilevel optimization strategy that establishes a nexus between the joint problem of fusion and detection, optimizing both processes concurrently. Furthermore, we introduce the first dataset of paired infrared and visible images accompanied by text prompts, paving the way for future research. Extensive experiments on several datasets demonstrate that our method not only produces visually superior fusion results but also achieves a higher detection mAP over existing methods, achieving state-of-the-art results.

연구 동기 및 목표

• 기존 다중 모odal 이미지 융합 방법이 적외선 및 가시광선 이미지 간의 깊은 의미 관계를 모델링하지 못하는 한계를 해결하기 위해.
• 텍스트 기술에서 유도하는 고수준 의미 정보를 활용하여 융합 과정을 이끌어내어 객체 검출 정확도를 향상시키기 위해.
• 이미지 융합과 후행 검출 성능을 동시에 향상시키는 공동 최적화 프레임워크를 수립하기 위해.
• 다중 모달 융합 연구를 위해 처음으로 적외선, 가시광선 및 해당 텍스트 프롬프트 이미지가 쌍으로 구성된 데이터셋을 구축하기 위해.

제안 방법

• 텍스트 프롬프트를 고수준 의미 임베딩으로 인코딩하기 위해 CLIP 모델을 활용하여 적외선 및 가시광선 이미지 간의 특징 융합를 이끌어내는 데 사용한다.
• 지속적인 특징 표현을 이산화하기 위해 코드북을 도입하여 검출 작업의 훈련 효율성과 일반화 성능을 향상시킨다.
• 자기 주의(multi-head self-attention) 및 상호 주의(multi-head cross-attention) 메커니즘을 적용하여 내모달 및 간모달 특징 학습을 향상시킨다.
• 융합 및 검출 목표를 동시에 최적화하는 이중 최적화 전략을 구현하여 엔드 투 엔드 성능 향상을 가능하게 한다.
• 콘텐츠 일관성 손실과 구조 손실이라는 두 가지 손실 함수를 도입하여 입력의 유지 보존과 훈련 안정성을 확보한다.
• 적외선 및 가시광선 입력을 별도로 처리한 후 텍스트 유도형으로 융합하는 이중 브랜치 네트워크 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 텍스트 기술이 적외선 및 가시광선 이미지 융합에서 의미 정렬과 융합 품질을 크게 향상시킬 수 있는가?
• RQ2 이중 학습을 통한 융합 및 검출의 공동 최적화가 순차적 또는 독립적 훈련에 비해 후행 검출 성능을 어떻게 향상시키는가?
• RQ3 상호 주의 및 자기 주의 메커니즘이 융합 과정에서 특징 정제 및 모달 간 상호작용에 얼마나 기여하는가?
• RQ4 CLIP 기반 텍스트 유도가 융합 네트워크가 주목할 만하고 의미적으로 관련된 특징에 집중하도록 하는 데 얼마나 효과적인가?
• RQ5 다양한 텍스트 프롬프트 유형(粗모양 vs. 세밀한)이 검출 정확도 및 융합 품질에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 M3FD 데이터셋에서 최신 기술 수준의 mAP 0.517을 달성하여 이전 방법들을 능가한다.
• 제거 실험 결과, 자기 주의 및 상호 주의를 모두 사용할 경우 한 가지 메커니즘만 사용할 때보다 mAP가 0.099 향상된다.
• 콘텐츠 일관성 손실과 구조 손실을 모두 포함한 경우, 둘 다 생략한 훈련에 비해 mAP가 0.090 향상된다.
• 텍스트 프롬프트를 미세조정한 모델은 일부 경우에서 지상 진술(annotation)보다 이전에 표시되지 않은 객체를 더 정확하게 검출한다.
• 시각적 결과는 텍스트 프롬프트가 밝기 향상과 핵심 기능 강조를 통해 인지적 융합 품질을 향상시킨다는 것을 보여준다.
• 새로운 쌍체 IVIF+text 데이터셋은 텍스트 유도 다중 모달 융합 연구를 위한 더 견고한 평가 및 향후 연구를 가능하게 한다.