[論文レビュー] EDiffSR: An Efficient Diffusion Probabilistic Model for Remote Sensing Image Super-Resolution

Yi Xiao, Qiangqiang Yuan+4 more|arXiv (Cornell University)|Oct 30, 2023

Advanced Image Fusion Techniques被引用数 8

ひとこと要約

EDiffSRはリモートセンシング画像の超解像のための軽量拡散確率モデルを導入し、Conditional Prior Enhancement ModuleとEfficient Activation Networkを用いて、 prior DPMベースのSR手法より少ないパラメータで知覚品質を向上させる。

ABSTRACT

Recently, convolutional networks have achieved remarkable development in remote sensing image Super-Resoltuion (SR) by minimizing the regression objectives, e.g., MSE loss. However, despite achieving impressive performance, these methods often suffer from poor visual quality with over-smooth issues. Generative adversarial networks have the potential to infer intricate details, but they are easy to collapse, resulting in undesirable artifacts. To mitigate these issues, in this paper, we first introduce Diffusion Probabilistic Model (DPM) for efficient remote sensing image SR, dubbed EDiffSR. EDiffSR is easy to train and maintains the merits of DPM in generating perceptual-pleasant images. Specifically, different from previous works using heavy UNet for noise prediction, we develop an Efficient Activation Network (EANet) to achieve favorable noise prediction performance by simplified channel attention and simple gate operation, which dramatically reduces the computational budget. Moreover, to introduce more valuable prior knowledge into the proposed EDiffSR, a practical Conditional Prior Enhancement Module (CPEM) is developed to help extract an enriched condition. Unlike most DPM-based SR models that directly generate conditions by amplifying LR images, the proposed CPEM helps to retain more informative cues for accurate SR. Extensive experiments on four remote sensing datasets demonstrate that EDiffSR can restore visual-pleasant images on simulated and real-world remote sensing images, both quantitatively and qualitatively. The code of EDiffSR will be available at https://github.com/XY-boy/EDiffSR

研究の動機と目的

• MSEベースの回帰による過度平滑化を抑え、 RSI SRにおける知覚品質の改善を動機付ける。
• 大規模 RSI アプリケーションに適した軽量な拡散ベースSRフレームワークを開発する。
• LR画像から得られる情報量の多い事前情報を拡散ベースSRへ導入する。
• 品質を維持しつつ計算負荷を削減する効率的なデノイザーアーキテクチャを提案する。

提案手法

• SRのための平均回帰型確率微分方程式（SDE）拡散過程を適用する。
• LR priors を条件付けに豊かにするConditional Prior Enhancement Module（CPEM）を導入する。
• ノイズ予測のためのEfficient Activation Block（EAB）を備えたEfficient Activation Network（EANet）を設計する。
• 拡散訓練を安定化させるため最大尤推定に類する目的で訓練する。
• モデルを条件付ける前にノイズとLR条件付け入力をピクセル折りたたみ演算で整列させる。

Figure 1: The relationship between FID (Fréchet Inception Distance) [ 1 ] performance and parameter of state-of-the-art (SOTA) SR methods (lower FID values indicate better generative quality). EDSR [ 2 ] , RCAN [ 3 ] , and HAT-L [ 4 ] are regression-based models, typically generating low-quality dis

実験結果

リサーチクエスチョン

• RQ1 拡散フレームワーク内で強化されたLRベースの事前情報は、双一次補間やUnetベースのノイズ予測子より高忠実度のSRをもたらすか。
• RQ2 EABを備えたEANetは、最新のDPMと比較して少ないパラメータで競争力のあるSR結果を達成するか。
• RQ3 Conditional Prior Enhancement ModuleがリモートセンシングデータセットにおけるSRの知覚指標と定量指標に与える影響はどの程度か。

主な発見

カテゴリ	Bicubic	EDSR	RCAN	HAT-L	MSRGAN	ESRGAN	SPSR	SR3	IRSDE	EDiffSR
Average	126.53	90.40	93.39	90.86	53.36	52.55	56.40	65.51	51.08	49.45

• EDiffSRは複数の RSI データセットでCNN、GAN、DPMベースのSR手法と比較して知覚的・定量的性能が優れている。
• 提案されたCPEMはLR入力からの条件付け情報を豊かにし、高周波ディテールの回復を改善する。
• EANetとEABは大規模なUNetと比べて計算資源を大幅に削減しつつ良好なデノイズ能力を提供する。
• 複数データセットにおける共有結果は、模擬のデgradationと実世界のRSIに対して強い一般化能力を示す。
• 平均して、EDiffSRはFIDベースの指標で競合手法より改善を示す。

Figure 2: Overview of the forward and reverse diffusion processes defined by mean-reverting Stochastic Differential Equations (SDE). The forward diffusion gradually degrades the high-quality and high-resolution image $x_{0}$ to its low-quality counterpart via $x_{T}=\mu+\varepsilon$ . The reverse di