[논문 리뷰] CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion

Zixiang Zhao, Haowen Bai외 6명|arXiv (Cornell University)|2022. 11. 26.

Advanced Image Fusion Techniques인용 수 23

한 줄 요약

CDDFuse는 상관관계 주도 손실을 가진 이중 분기 Transformer-CNN 인코더를 도입하여 다중 모달리티 이미지 융합을 위한 기본(공유) 특징과 디테일(특정) 특징을 분해하고 IVF 및 MIF에서 최첨단 결과를 달성합니다.

ABSTRACT

Multi-modality (MM) image fusion aims to render fused images that maintain the merits of different modalities, e.g., functional highlight and detailed textures. To tackle the challenge in modeling cross-modality features and decomposing desirable modality-specific and modality-shared features, we propose a novel Correlation-Driven feature Decomposition Fusion (CDDFuse) network. Firstly, CDDFuse uses Restormer blocks to extract cross-modality shallow features. We then introduce a dual-branch Transformer-CNN feature extractor with Lite Transformer (LT) blocks leveraging long-range attention to handle low-frequency global features and Invertible Neural Networks (INN) blocks focusing on extracting high-frequency local information. A correlation-driven loss is further proposed to make the low-frequency features correlated while the high-frequency features uncorrelated based on the embedded information. Then, the LT-based global fusion and INN-based local fusion layers output the fused image. Extensive experiments demonstrate that our CDDFuse achieves promising results in multiple fusion tasks, including infrared-visible image fusion and medical image fusion. We also show that CDDFuse can boost the performance in downstream infrared-visible semantic segmentation and object detection in a unified benchmark. The code is available at https://github.com/Zhaozixiang1228/MMIF-CDDFuse.

연구 동기 및 목표

• MMIF를 위한 교차 모달 특징 모델링의 개선을 촉진하기 위해 모달리티 공유 정보와 모달리티 특이 정보를 분리합니다.
• 전역(Transformer)과 지역(CNN/INN) 특징 추출을 결합하는 이중 분기 인코더를 개발합니다.
• 모달리티 간 기반 특징이 상관되도록, 디테일 특징이 서로 비상관되도록 강제하는 상관 주도 손실을 제안합니다.
• LT 기반 전역 융합과 INN 기반 로컬 융합 층을 통해 효과적인 융합을 가능하게 합니다.
• IVF 및 MIF 벤치마크에서 최첨단 성능을 입증하고 분할 및 탐지와 같은 하류 작업에 대한 이점을 보여줍니다.

제안 방법

• 교차 모달 단서를 포착하기 위해 Restormer 기반의 얕은 특징 추출을 사용합니다.
• 이중 분기 롱-쇼트 범위 인코더를 활용합니다: 저주파 기본 특징용 베이스 트랜스포머 인코더(LT 블록)와 고주파 디테일용 디테일 CNN 인코더(INN 블록).
• 고주파 정보를 보존하기 위해 디테일 경로에 가역 신경망(INN)을 도입합니다.
• 기본 특징은 LT 기반 융합으로, 디테일은 INN 기반 융합으로 융합합니다.
• 두 단계로 학습합니다: 1단계에서 입력 이미지를 재구성하여 특징 분해를 유도하고, 2단계에서 분해된 특징을 이용해 융합을 수행합니다.
• 기반 특징의 높은 상관과 디테일 특징의 비상관을 촉진하는 상관 주도 분해 손실을 채택합니다: L_decomp = (CC(D_I,V))^2 / (CC(B_I,B_V) + ε).
• 2단계 손실은 이미지 재구성/그래디언트 항과 동일한 분해 제약을 포함하여 융합 출력 품질을 안내합니다.

실험 결과

연구 질문

• RQ1 MMIF가 모달리티 공유(base) 및 모달리티 특이(detail) 구성요소로 특징을 명시적으로 분해함으로써 어떤 이점을 얻을 수 있나요?
• RQ2 하이브리드 Transformer-CNN 아키텍처가 IVF 및 MIF를 위해 전역 및 로컬 교차 모달 정보를 효과적으로 포착할 수 있나요?
• RQ3 상관 주도 손실이 기본과 디테일 특징의 분리도를 높이고 융합 품질을 향상시키나요?
• RQ4 LT 기반 전역 융합과 INN 기반 로컬 융합이 효율성을 유지하면서 성능을 향상시키나요?
• RQ5 적외-가시 시맨틱 분할 및 객체 탐지와 같은 하류 작업에 대한 CDDFuse의 영향은 무엇인가요?

주요 결과

• CDDFuse는 MSRS, RoadScene, TNO 등 IVF 벤치마크에서 여덟 가지 융합 지표를 사용하여 최첨단 또는 경쟁력 있는 성능을 달성합니다.
• MSRS에서 CDDFuse는 EN=6.70, SD=43.38, SF=11.56, MI=3.47, SCD=1.62, VIF=1.05, Qbaf=0.69, SSIM=1.00를 달성합니다.
• RoadScene에서 CDDFuse는 EN=7.44, SD=54.67, SF=16.36, MI=2.30, SCD=1.81, VIF=0.69, Qbaf=0.52, SSIM=0.98를 달성합니다.
• TNO에서 CDDFuse는 EN=7.44, SD=54.67, SF=16.36, MI=2.30, SCD=1.81, VIF=0.69, Qbaf=0.52, SSIM=0.98를 달성합니다.
• 두 단계 학습, LT+INN 조합 및 상관 기반 분해 손실의 효과를 검증하는 어블레이션 연구가 수행되었습니다.
• 융합 출력 사용 시 다운스트림 MM 객체 탐지 및 시맨틱 분할의 성능이 향상되어 융합 품질 이외의 실용적 이점을 나타냅니다.