[논문 리뷰] EDiffSR: An Efficient Diffusion Probabilistic Model for Remote Sensing Image Super-Resolution

Yi Xiao, Qiangqiang Yuan외 4명|arXiv (Cornell University)|2023. 10. 30.

Advanced Image Fusion Techniques인용 수 8

한 줄 요약

EDiffSR는 Conditional Prior Enhancement Module과 Efficient Activation Network를 사용하여 기존 DPM 기반 SR 방법들보다 매개변수 수가 적은 상태에서 지각 품질을 개선하는 경량 확산 확률 모델을 원격 감지 이미지 초해상도에 도입한다.

ABSTRACT

Recently, convolutional networks have achieved remarkable development in remote sensing image Super-Resoltuion (SR) by minimizing the regression objectives, e.g., MSE loss. However, despite achieving impressive performance, these methods often suffer from poor visual quality with over-smooth issues. Generative adversarial networks have the potential to infer intricate details, but they are easy to collapse, resulting in undesirable artifacts. To mitigate these issues, in this paper, we first introduce Diffusion Probabilistic Model (DPM) for efficient remote sensing image SR, dubbed EDiffSR. EDiffSR is easy to train and maintains the merits of DPM in generating perceptual-pleasant images. Specifically, different from previous works using heavy UNet for noise prediction, we develop an Efficient Activation Network (EANet) to achieve favorable noise prediction performance by simplified channel attention and simple gate operation, which dramatically reduces the computational budget. Moreover, to introduce more valuable prior knowledge into the proposed EDiffSR, a practical Conditional Prior Enhancement Module (CPEM) is developed to help extract an enriched condition. Unlike most DPM-based SR models that directly generate conditions by amplifying LR images, the proposed CPEM helps to retain more informative cues for accurate SR. Extensive experiments on four remote sensing datasets demonstrate that EDiffSR can restore visual-pleasant images on simulated and real-world remote sensing images, both quantitatively and qualitatively. The code of EDiffSR will be available at https://github.com/XY-boy/EDiffSR

연구 동기 및 목표

• MSE 기반 회귀를 넘어 RSI SR에서 지각 품질을 개선하여 과도한 평활화를 줄이려는 동기를 제공한다.
• 대규모 RSI 응용에 적합한 경량 확산 기반 SR 프레임워크를 개발한다.
• LR 영상으로부터 유익한 사전 정보를 도입하여 확산 기반 SR을 안내한다.
• 품질을 유지하면서 계산 부담을 줄이기 위한 효율적인 디노이저 아키텍처를 제안한다.

제안 방법

• SR를 위한 평균-회귀적 확산(SDE) 프로세스를 적용한다.
• LR 사전 정보를 SR 컨디셔닝으로 풍부하게 하는 Conditional Prior Enhancement Module(CPEM)을 도입한다.
• 잡음 예측을 위한 Efficient Activation Network(EANet) 및 Efficient Activation Block(EAB)을 설계한다.
• 확산 학습을 안정화하기 위한 최대 우도에 준하는 objective로 학습한다.
• 컨디셔닝 모델 전에 노이즈 입력과 LR 컨디셔닝 입력을 정렬하기 위해 픽셀 폴딩 연산을 사용한다.

Figure 1: The relationship between FID (Fréchet Inception Distance) [ 1 ] performance and parameter of state-of-the-art (SOTA) SR methods (lower FID values indicate better generative quality). EDSR [ 2 ] , RCAN [ 3 ] , and HAT-L [ 4 ] are regression-based models, typically generating low-quality dis

실험 결과

연구 질문

• RQ1 확산 프레임워크 내에서 LR 기반 사전 정보가 bicubic 컨디셔닝이나 Unet 기반 노이즈 예측기보다 더 높은 충실도의 SR을 제공할 수 있는가?
• RQ2 EANet과 EAB를 갖춘 효율적인 디노이저가 최신 DPM보다 더 적은 매개변수로 경쟁력 있는 SR 결과를 달성하는가?
• RQ3 Conditional Prior Enhancement Module이 원격 sensing 데이터셋에서 SR의 지각 및 정량 지표에 어떤 영향을 미치는가?

주요 결과

카테고리	Bicubic	EDSR	RCAN	HAT-L	MSRGAN	ESRGAN	SPSR	SR3	IRSDE	EDiffSR
평균	126.53	90.40	93.39	90.86	53.36	52.55	56.40	65.51	51.08	49.45

• EDiffSR은 CNN-, GAN-, 및 DPM 기반 SR 방법에 비해 여러 RSI 데이터셋에서 지각 및 정량 성능 면에서 우수한 결과를 달성한다.
• 제안된 CPEM은 LR 입력으로부터 조건 정보를 풍부하게 하여 고주파 상세 복구를 개선한다.
• EANet과 EAB를 갖춘 EANet은 대형 UNet에 비해 상당히 낮은 계산 예산에서 우수한 디노이징 능력을 제공한다.
• 여러 데이터셋에 걸친 결과 공유는 시뮬레이션된 열화 및 실제 RSI에 대한 강한 일반화 가능성을 나타낸다.
• 평균적으로 EDiffSR은 경쟁 방법들보다 FID 기반 지표에서 향상을 보인다.

Figure 2: Overview of the forward and reverse diffusion processes defined by mean-reverting Stochastic Differential Equations (SDE). The forward diffusion gradually degrades the high-quality and high-resolution image $x_{0}$ to its low-quality counterpart via $x_{T}=\mu+\varepsilon$ . The reverse di