[論文レビュー] DDRF: Denoising Diffusion Model for Remote Sensing Image Fusion

ZiHan Cao, ShiQi Cao+4 more|arXiv (Cornell University)|Apr 10, 2023

Advanced Image Fusion Techniques被引用数 14

ひとこと要約

この論文は DDRF を提案します。監督付きノイズ除去拡散モデルを用いたパンシャープニングとハイパースペクトル融合で、2つの条件付注入モジュール（スタイル転送とウェーブレット変調）を用いて PAN/LrMS を HRMS に融合し、複数のデータセットで最先端の結果を達成します。

ABSTRACT

Denosing diffusion model, as a generative model, has received a lot of attention in the field of image generation recently, thanks to its powerful generation capability. However, diffusion models have not yet received sufficient research in the field of image fusion. In this article, we introduce diffusion model to the image fusion field, treating the image fusion task as image-to-image translation and designing two different conditional injection modulation modules (i.e., style transfer modulation and wavelet modulation) to inject coarse-grained style information and fine-grained high-frequency and low-frequency information into the diffusion UNet, thereby generating fused images. In addition, we also discussed the residual learning and the selection of training objectives of the diffusion model in the image fusion task. Extensive experimental results based on quantitative and qualitative assessments compared with benchmarks demonstrates state-of-the-art results and good generalization performance in image fusion tasks. Finally, it is hoped that our method can inspire other works and gain insight into this field to better apply the diffusion model to image fusion tasks. Code shall be released for better reproducibility.

研究の動機と目的

• リモートセンシング画像融合（パンシャープニングとハイパースペクトル融合）に拡散モデルを適用する動機づけ。
• 粗粒度のスタイルと細粒度の周波数情報を注入する二つの条件付注入モジュールを用いて、拡散ベースの融合中にDDR Fを提案します。
• 小規模なリモートセンシングデータセットで融合品質を改善するための訓練目的と残差学習の検討。
• 高速ODEベース拡散サンプリングと線形メモリ視点でのクロスアテンションによる効率化でサンプリング時間を短縮。
• 標準的なリモートセンシング融合ベンチマークで最先端または競争力のある性能を示す。

提案手法

• 画像融合を条件付き拡散フレームワーク内の画像対画像翻訳として扱う。
• 二つの条件付注入モジュールを導入する：スタイル転送モジュレーション（粗粒度スタイル）とウェーブレットモジュレーション（高/低周波数のディテール）を拡散UNetを導く。
• 高周波ディテール回復を促進するために、HRMS minus MS を拡散モデル入力として投入する残差学習を使用する。
• 訓練の三つのモデリングターゲット（epsilon, x0, もしくは v）を採用し、小規模データセットでは x0 が良く機能することを経験的に発見。
• DB1ウェーブレット分解を取り入れて低周波および高周波の PAN/LrMS 成分を抽出し、線形メモリのクロスアテンションを適用してディテールを効率的に注入。
• SDEサンプリングをより速いODEベースのサンプラーに変換して、選択されたタイムステップで x0 を直接予測することで、生成を高速化。
• PANおよびMS入力を条件付けしたモデル予測とx0との間の単純なL1損失を用いて最適化し、alpha_t のコサインスケジュールと安定化のためのEMAを採用する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルはパンシャープニングやハイパースペクトル融合のようなリモートセンシング画像融合タスクに効果的に適用できるか。
• RQ2 条件付注入モジュール（スタイル転送とウェーブレット変調）は粗粒度のスタイルと高/低周波数のディテールを注入して融合品質を改善するか。
• RQ3 小規模データセットでの拡散ベースの融合のガイダンスとして残差学習は有益か。
• RQ4 高速サンプリング（ODEベース）と線形メモリアテンションは計算コストを削減しつつ性能を維持または向上できるか。

主な発見

• DDRF はパンシャープニングデータセット（World-View3、GaoFen2、Quick-Bird）でデータ削減実験において最先端の結果を達成しており、フルデータのテストでも競争力がある。
• 二つの条件付注入モジュール（スタイル転送モジュレーションとウェーブレットモジュレーション）は、拡散過程に粗粒度のスペクトル-空間スタイルと多周波数ディテールを効果的に注入する。
• HRMS minus MS 入力を用いた残差学習は収束を加速し、高周波ディテール回復を改善する。
• 選択されたタイムステップのサブセットを用いた高速ODEベースのサンプリングは、融合品質を損なうことなく生成を大幅に高速化する。
• WV3の縮小データセットにおいて、DDRF は 2.77 SAM と 2.05 ERGAS の指標を達成し、強い定量的性能を示す。