[논문 리뷰] DDRF: Denoising Diffusion Model for Remote Sensing Image Fusion

ZiHan Cao, ShiQi Cao외 4명|arXiv (Cornell University)|2023. 04. 10.

Advanced Image Fusion Techniques인용 수 14

한 줄 요약

이 논문은 스타일 전송과 웨이블릿 모듈레이션을 사용하는 두 가지 조건 주입 모듈을 통해 PAN/LrMS를 HRMS로 융합하는 감독 기반 노이즈 제거 확산 모델인 DDRF를 pansharpening 및 hyperspectral fusion에 적용하여 여러 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Denosing diffusion model, as a generative model, has received a lot of attention in the field of image generation recently, thanks to its powerful generation capability. However, diffusion models have not yet received sufficient research in the field of image fusion. In this article, we introduce diffusion model to the image fusion field, treating the image fusion task as image-to-image translation and designing two different conditional injection modulation modules (i.e., style transfer modulation and wavelet modulation) to inject coarse-grained style information and fine-grained high-frequency and low-frequency information into the diffusion UNet, thereby generating fused images. In addition, we also discussed the residual learning and the selection of training objectives of the diffusion model in the image fusion task. Extensive experimental results based on quantitative and qualitative assessments compared with benchmarks demonstrates state-of-the-art results and good generalization performance in image fusion tasks. Finally, it is hoped that our method can inspire other works and gain insight into this field to better apply the diffusion model to image fusion tasks. Code shall be released for better reproducibility.

연구 동기 및 목표

• 원격 센싱 이미지 융합( pansharpening 및 hyperspectral fusion )에 확산 모델을 활용하는 동기를 제시한다.
• 확산 기반 융합 도중 거친 스타일과 미세한 주파수 정보를 주입하기 위한 두 가지 조건 주입 모듈을 갖춘 DDRF를 제안한다.
• 작은 원격 센싱 데이터셋에서 융합 품질을 개선하기 위한 학습 목표와 잔차 학습(residual learning)을 탐구한다.
• 빠른 ODE 기반 확산 샘플링과 선형 메모리 교차 어텐션으로 효율성을 높여 샘플링 시간을 줄인다.
• 표준 원격 센싱 융합 벤치마크에서 최첨단 또는 경쟁력 있는 성능을 입증한다.

제안 방법

• 이미지 융합을 조건부 확산 프레임워크 내의 이미지-투-이미지 번역으로 처리한다.
• 두 가지 조건 주입 모듈을 도입한다: style transfer modulation(거친 스타일)과 wavelet modulation(고주파/저주파 디테일)을 통해 확산 UNet를 안내한다.
• 고주파 디테일 복원을 촉진하기 위해 HRMS에서 MS를 뺀 값을 확산 모델 입력으로 사용한 잔차 학습을 활용한다.
• 학습을 위한 세 가지 모델링 타깃(epsilon, x0, 또는 v)을 채택하고, 경험적으로 x0가 작은 데이터셋에서 잘 작동함을 발견한다.
• DB1 웨이블릿 분해를 도입하여 저주파/고주파 PAN/LrMS 성분을 추출하고 선형 메모리 교차 어텐션을 적용해 세부 정보를 효율적으로 주입한다.
• 선택된 시점에서 x0를 직접 예측하는 더 빠른 ODE 기반 샘플러로 SDE 샘플링을 변환하여 빠른 샘플링을 구현한다.
• PAN 및 MS 입력에 조건화된 x0와 모델 예측 간의 간단한 L1 손실로 최적화하고, alpha_t에 코사인 스케줄을 적용하며 안정화를 위해 EMA를 사용한다.

실험 결과

연구 질문

• RQ1 확산 모델이 pansharpening 및 hyperspectral fusion과 같은 원격 센싱 이미지 융합 작업에 효과적으로 적응할 수 있는가?
• RQ2 조건 주입 모듈(스타일 전송 및 웨이블릿 모듈레이션)이 거친 스타일과 고-/저주파 디테일을 주입함으로써 융합 품질을 개선하는가?
• RQ3 잔차 학습이 작은 원격 센싱 데이터셋에서 확산 기반 융합을 안내하는 데 유익한가?
• RQ4 빠른 확산 샘플링(ODE 기반)과 선형 메모리 어텐션이 계산 비용을 줄이면서 성능을 유지하거나 향상시키는가?

주요 결과

• DDRF는 감소 데이터 실험에서 World-View3, GaoFen2, Quick-Bird 데이터셋의 pansharpening에서 최첨단 결과를 달성하고 전체 데이터 테스트에서도 경쟁력을 보인다.
• 두 가지 조건 주입 모듈(스타일 전송 모듈레이션과 웨이블릿 모듈레이션)이 확산 과정에 거친 스펙트럴-공간 스타일과 다중 주파수 디테일을 효과적으로 주입한다.
• HRMS minus MS 입력을 이용한 잔차 학습은 수렴 속도를 높이고 고주파 디테일 복원을 개선한다.
• 선택된 시점에서 x0를 직접 예측하는 빠른 ODE 기반 샘플링은 일부 타임스텝에서 샘플링을 크게 가속하되 융합 품질을 해치지 않는다.
• WV3 감소 데이터셋에서 DDRF는 2.77 SAM 및 2.05 ERGAS 지표를 달성하여 강한 정량적 성능을 보여준다.