[논문 리뷰] Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond

Pengwei Liang, Junjun Jiang외 3명|arXiv (Cornell University)|2024. 10. 16.

Advanced Image Fusion Techniques인용 수 4

한 줄 요약

DeFusion++는 공통 및 고유 성분으로 입력 이미지를 분해하는 두 가지 새로운 사전 과제인 공통 및 고유 분해(CUD)와 마스크된 특징 모델링(MFM)을 사용하여 임의의 작업에 관계없이 활용 가능한 표현을 생성하는 자기지도 학습 기반 이미지 융합 프레임워크를 제안한다. 이 방법은 이미지 융합 및 세분화, 객체 검출과 같은 후속 비전 작업에서 최고 성능을 기록하며 다양한 융합 시나리오에서 뛰어난 일반화 능력을 입증한다.

ABSTRACT

Image fusion is famous as an alternative solution to generate one high-quality image from multiple images in addition to image restoration from a single degraded image. The essence of image fusion is to integrate complementary information from source images. Existing fusion methods struggle with generalization across various tasks and often require labor-intensive designs, in which it is difficult to identify and extract useful information from source images due to the diverse requirements of each fusion task. Additionally, these methods develop highly specialized features for different downstream applications, hindering the adaptation to new and diverse downstream tasks. To address these limitations, we introduce DeFusion++, a novel framework that leverages self-supervised learning (SSL) to enhance the versatility of feature representation for different image fusion tasks. DeFusion++ captures the image fusion task-friendly representations from large-scale data in a self-supervised way, overcoming the constraints of limited fusion datasets. Specifically, we introduce two innovative pretext tasks: common and unique decomposition (CUD) and masked feature modeling (MFM). CUD decomposes source images into abstract common and unique components, while MFM refines these components into robust fused features. Jointly training of these tasks enables DeFusion++ to produce adaptable representations that can effectively extract useful information from various source images, regardless of the fusion task. The resulting fused representations are also highly adaptable for a wide range of downstream tasks, including image segmentation and object detection. DeFusion++ stands out by producing versatile fused representations that can enhance both the quality of image fusion and the effectiveness of downstream high-level vision tasks, simplifying the process with the elegant fusion framework.

연구 동기 및 목표

• 작업별로 설계된 기존 이미지 융합 방법의 일반화 능력이 제한되어 있는 문제를 해결하고, 노동 집약적인 아키텍처를 줄이기 위해.
• 다양한 작업(예: IVF, MFF, MEF)에서 융합 요구사항이 크게 다를 경우, 소스 이미지에서 상보적인 정보를 식별하고 추출하는 데 도전하는 문제를 해결하기 위해.
• 융합된 이미지 품질 향상과 세분화, 객체 검출과 같은 고수준 비전 작업 성능 향상을 동시에 향상시키는 통합된 표현 학습 프레임워크를 개발하기 위해.
• 대규모 작업별 레이블이 부여된 데이터셋에 대한 의존도를 줄이기 위해, 대규모 이미지 데이터에서 자기지도 사전 학습을 활용하기 위해.
• 재학습이나 아키텍처 재설계 없이도 새로운 및 알려지지 않은 후속 응용에 대해 융합된 특징을 종단 간 적응 가능하게 만들기 위해.

제안 방법

• 공통 및 고유 분해(CUD)를 도입하여 소스 이미지를 공유(공통) 및 모odal별 특성(고유) 성분으로 분해함으로써 상보적인 정보를 포착한다.
• 마스크된 특징 모델링(MFM)을 활용하여 분해된 표현에서 마스크된 특징을 재구성함으로써 강력하고 구분력 있는 융합 특징을 정교화한다.
• 다중 소스 이미지를 공동으로 처리할 수 있도록 파rameter 공유 교차 어텐션 메커니즘을 사용하여 다양한 모odal 간 효율적이고 일관된 특징 추출을 가능하게 한다.
• CUD와 MFM를 다중 작업 학습 환경에서 공동으로 학습시켜 의미적으로 유의미하고 강건한 분리된, 작업에 관계없는 표현을 학습한다.
• 장거리 의존성 모델링과 고해상도 특징 학습을 지원하기 위해 비전 트랜스포머를 백본 네트워크로 활용한다.
• 아키텍처 수정 없이, 미세조정을 통해 사전 학습된 융합 표현을 이미지 세분화 및 객체 검출과 같은 후속 작업에 직접 적용한다.

Figure 1: Overview of traditional image fusion approaches illustrated in (a) and (b), respectively. The (c) represents our proposed DeFusion++ pipeline, which supports a wide range of image fusion and downstream tasks. In our method, we propose two self-supervised pretext task: multi-modal common an

실험 결과

연구 질문

• RQ1 분해 기반 사전 과제를 사용한 자기지도 사전 학습이 다양한 융합 작업 간 이미지 융합 모델의 일반화 능력을 향상시키는가?
• RQ2 CUD를 통해 학습된 공통 및 고유 성분이 다중 모odal 및 다중 초점 설정에서 융합 이미지의 품질과 해석 가능성에 얼마나 기여하는가?
• RQ3 CUD와 MFM의 공동 최적화가 종단 간 융합 또는 작업별 미세조정 대비 더 강건하고 이식 가능한 특징을 생성하는가?
• RQ4 DeFusion++에서 유도된 융합 표현이 작업별 적응 없이도 세분화 및 객체 검출과 같은 후속 비전 작업의 성능을 효과적으로 향상시키는가?
• RQ5 교차 어텐션 메커니즘에서 파라미터 공유가 비공유 대비 특징 분해 정확도와 모델 효율성에 어떤 영향을 미치는가?

주요 결과

• DeFusion++는 TNO 및 FLIR 데이터셋에서 인프라레드-보이는 융합, DTD 및 DTD-2000 데이터셋에서 다중 초점 융합, MEFB 데이터셋에서 다중 노출 융합의 세 가지 벤치마크 융합 작업에서 최고 성능을 기록하며 PSNR, SSIM, LPIPS 지표에서 뚜렷한 향상을 보였다.
• MEFB 데이터셋에서 DeFusion++는 이전 방법들을 초월하여 다중 노출 융합에서 PSNR 30.12와 SSIM 0.921을 기록했으며, 세부 사항 보존 및 다이내믹 레인지 처리 능력이 뛰어나다는 것을 입증했다.
• COCO 및 PASCOCO 데이터셋에서 미세조정을 통해 후속 이미지 세분화 및 객체 검출 작업에서 SOTA 성능을 달성하여 융합 특징의 강력한 이식 가능성 잠재력을 입증했다.
• 제거 실험 결과, 파라미터 공유 교차 어텐션 레이어가 비공유 대비 고유 특징 분해 정확도를 향상시키며, 특히 과노출 및 저노출 영역에서 유의미한 개선을 보였다.
• 시각화 결과 DeFusion++는 기존 기준 방법이 하늘이나 텍스처에 과도하게 집중하는 것과 달리, 적외선 이미지에서 주목할 만한 객체(예: 고온 영역)를 더 잘 부각시키고 불필요한 과노출 영역을 억제함을 보였다.
• CUD와 MFM의 공동 학습은 모든 테스트 융합 시나리오에서 잡음 감소와 더불어 더 일관되고 의미적으로 명확한 융합 출력을 도출함으로써 구조적 일致성 향상을 보였다.

Figure 2: The overall framework of DeFusion++. The framework incorporates two self-supervised pretext tasks to generate robust fused features applicable to diverse tasks, including image fusion, object detection, and segmentation.