[論文レビュー] Hyperspectral and Multispectral Image Fusion Using the Conditional Denoising Diffusion Probabilistic Model

Shuaikai Shi, Lijun Zhang+1 more|arXiv (Cornell University)|Jul 7, 2023

Advanced Image Fusion Techniques被引用数 8

ひとこと要約

この論文は、HrMSIとLrHSIを共同で活用して高空間分解能/高スペクトル解像度のHrHSIを反復的なデノイジングで生成する条件付きDDPM-Fusを提案し、いくつかの深層学習フュージョン法を上回る性能を示す。

ABSTRACT

Hyperspectral images (HSI) have a large amount of spectral information reflecting the characteristics of matter, while their spatial resolution is low due to the limitations of imaging technology. Complementary to this are multispectral images (MSI), e.g., RGB images, with high spatial resolution but insufficient spectral bands. Hyperspectral and multispectral image fusion is a technique for acquiring ideal images that have both high spatial and high spectral resolution cost-effectively. Many existing HSI and MSI fusion algorithms rely on known imaging degradation models, which are often not available in practice. In this paper, we propose a deep fusion method based on the conditional denoising diffusion probabilistic model, called DDPM-Fus. Specifically, the DDPM-Fus contains the forward diffusion process which gradually adds Gaussian noise to the high spatial resolution HSI (HrHSI) and another reverse denoising process which learns to predict the desired HrHSI from its noisy version conditioning on the corresponding high spatial resolution MSI (HrMSI) and low spatial resolution HSI (LrHSI). Once the training is completes, the proposed DDPM-Fus implements the reverse process on the test HrMSI and LrHSI to generate the fused HrHSI. Experiments conducted on one indoor and two remote sensing datasets show the superiority of the proposed model when compared with other advanced deep learningbased fusion methods. The codes of this work will be opensourced at this address: https://github.com/shuaikaishi/DDPMFus for reproducibility.

研究の動機と目的

• デgradationモデル（PSFとSRF）が未知または不完全な場合の実用的なHSI-MSIフュージョン問題に対処する。
• HrMSIとLrHSIをフュージョンしてHrHSIを合成する拡散ベースの生成フレームワークを開発する。
• 条件付き入力を用いた反復デノイングにより、複数データセットでフュージョン品質が優越することを示す。
• 既存の監視付きおよび多段階フュージョン法と比較して競争力のあるまたは優越する性能を示す。

提案手法

• フュージョンタスクを p(X|Y,Z) の学習としてモデル化する。ここで X は HrHSI、Y は LrHSI、Z は HrMSI。
• 前向き拡散プロセスを用い、Tステップにわたって X にガウスノイズを徐々に加える。
• 条件付きの逆デノイジングネット μθ(Xt,Y,Z,t) を U-net として実装し、加えられたノイズを予測する。
• Y を HrMSI 解像度に補間した Y_up を Z および Xt と入力データとしてデノイザーに結合させる。
• DDPMの訓練プロトコルを用いて、L1/L2損失を用いた ε−εθ(Xt,Y,Z,t) による単純なELBO最適化を行う。
• 推論時には、学習済み条件付きモデルから X を生成するために DDIM ベースの高速サンプリング方式を適用する。
• 固定拡散スケジュールを用いた3データセットでのパッチベースの訓練 regimen を提供し、PSNR、SAM、ERGAS、SSIM でフュージョン品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付きDDPMは、知られた劣化モデルを要せずに HrMSI と LrHSI を効果的にフュージすることで高品質な HrHSI を生成できるか。
• RQ2 マルチステージ拟分解フュージョン（DDPM-Fus）は、室内・リモートセンシングデータセットのいずれにおいても、既存の one-stage および multi-stage discriminative フュージョン法より優れているか。
• RQ3 高速サンプリング（DDIM）は、この条件付き拡散設定におけるフュージョン品質と計算効率にどのように影響するか。
• RQ4 異なるスペクトル構成と空間分解能を持つデータセットに対する DDPM-Fus のロバスト性はどの程度か。

主な発見

Dataset	Method	PSNR	SAM	ERGAS	SSIM
CAVE	PANnet	30.68	13.68	1.11	0.864
CAVE	HSRnet	41.05	7.94	0.41	0.975
CAVE	SSRnet	41.73	8.17	0.41	0.975
CAVE	MHFnet	36.46	22.12	1.64	0.951
CAVE	EDBIN	40.68	8.96	0.48	0.969
CAVE	DDPM-Fus	43.66	5.69	0.34	0.986
Chikusei	PANnet	28.17	4.31	0.76	0.896
Chikusei	HSRnet	38.87	2.00	0.42	0.972
Chikusei	SSRnet	39.66	1.89	0.39	0.974
Chikusei	MHFnet	39.04	2.33	0.44	0.963
Chikusei	EDBIN	38.70	2.89	0.43	0.973
Chikusei	DDPM-Fus	40.25	1.86	0.41	0.975
Pavia Center	PANnet	31.63	6.83	0.56	0.940
Pavia Center	HSRnet	44.21	3.37	0.22	0.982
Pavia Center	SSRnet	45.11	2.98	0.19	0.986
Pavia Center	MHFnet	42.82	4.37	0.26	0.977
Pavia Center	EDBIN	45.35	2.93	0.18	0.987
Pavia Center	DDPM-Fus	45.39	3.01	0.19	0.986

• DDPM-Fus は、複数のデータセットで競合法より PSNR および SSIM が優れ、SAM および ERGAS が低い。
• CAVE 室内データセットでは、DDPM-Fus がテスト済み手法の中で最高の PSNR（43.66）と最も低い SAM（5.69）を達成。
• Chikusei および Pavia Center のリモートセンシングデータセットでは、DDPM-Fus は PSNR および SAM の点で一貫して上位またはトップ付近にランクされ、ERGAS および SSIM も競争力がある。
• 他のマルチステージフュージョンモデルと比較して、スペクトル再構成精度がバンド間で顕著であることが RMSE 分析から示される。
• DDPM-Fus は DDPM による数千回のフュージョン反復を活用し、迅速な DDIM サンプラーを採用することで推論時間を短縮しつつ品質を損なわない。