[論文レビュー] HSR-Diff:Hyperspectral Image Super-Resolution via Conditional Diffusion Models

Chanyue Wu, Dong Wang+2 more|arXiv (Cornell University)|Jun 21, 2023

Image and Signal Denoising Methods被引用数 6

ひとこと要約

HSR-Diffは、低分解能HSIと高分解能マルチスペクトル画像特徴量を条件として、条件付きノイズ除去Transformer（CDFormer）を介してガウスノイズを段階的に除去することで、高分解能HSIを生成する条件付き拡散モデルを提案する。4つの公的データセットにおいて最先端の性能を達成し、段階的学習と自己注意メカニズムを用いたグローバルモデリングにより、優れた再構成品質と詳細の保持を実現している。

ABSTRACT

Despite the proven significance of hyperspectral images (HSIs) in performing various computer vision tasks, its potential is adversely affected by the low-resolution (LR) property in the spatial domain, resulting from multiple physical factors. Inspired by recent advancements in deep generative models, we propose an HSI Super-resolution (SR) approach with Conditional Diffusion Models (HSR-Diff) that merges a high-resolution (HR) multispectral image (MSI) with the corresponding LR-HSI. HSR-Diff generates an HR-HSI via repeated refinement, in which the HR-HSI is initialized with pure Gaussian noise and iteratively refined. At each iteration, the noise is removed with a Conditional Denoising Transformer (CDF ormer) that is trained on denoising at different noise levels, conditioned on the hierarchical feature maps of HR-MSI and LR-HSI. In addition, a progressive learning strategy is employed to exploit the global information of full-resolution images. Systematic experiments have been conducted on four public datasets, demonstrating that HSR-Diff outperforms state-of-the-art methods.

研究の動機と目的

• ハイパースペクトル画像における低空間分解能の課題に対処すること。
• 手動で設計された事前知識に依存するか、スペクトル歪みや最適化の不安定性を抱える従来のHSI超解像手法の限界を克服すること。
• 条件付き拡散モデルがHSI超解像にどのように応用可能かを検討し、高精度な画像生成のための反復的ノイズ除去を活用すること。
• 段階的学習戦略と階層的特徴条件付きノイズ除去ネットワークを導入することで、HSI超解像におけるグローバル特徴モデリングを向上させること。

提案手法

• HSR-Diffは、純粋なガウスノイズで初期化された高分解能HSIを、条件付き拡散モデリングに従って段階的にノイズ除去することで精錬する。
• 各ステップでノイズを除去するために、HR-MSIおよびLR-HSIから抽出された階層的特徴マップを条件とする条件付きノイズ除去Transformer（CDFormer）を用いる。
• CDFormerは、HR-MSIとLR-HSIからの空間的・スペクトル的特徴をエンコードする二重ストリームアーキテクチャを採用し、自己注意機構を介してクロスモダリティ特徴統合と長距離依存性モデリングを実現する。
• 段階的学習戦略により、まず小規模な画像パッチ（例：128² や 64²）でCDFormerを訓練し、学習効率を確保した後、フル解像度画像で訓練することでグローバル統計を捉える。
• 最適化の不安定性がGANベース手法に一般的に見られるのを避けるために、明確に定義された損失関数を最小化するノイズ除去目的を用いて、エンドツーエンドでモデルを訓練する。
• 本フレームワークは、CAVE、PaviaU、Chikusei、HypSenの4つの公的データセットで評価され、PSNR、SSIM、SAM、ERGASといった定量的指標が用いられている。

実験結果

リサーチクエスチョン

• RQ1 条件付き拡散モデルは、高精度なHR-HSIの生成を実現するために、ハイパースペクトル画像超解像に効果的に応用可能か？
• RQ2 自己注意機構を備えた条件付きノイズ除去Transformer（CDFormer）は、CNNベースのアーキテクチャに比べて、グローバル特徴モデリングをどのように向上させるか？
• RQ3 段階的学習は、長距離にわたる空間的・スペクトル的依存性を捉えるノイズ除去ネットワークの性能をどのように向上させるか？
• RQ4 本手法は、HR-HSIの教師信号が得られない実世界のデータセット（例：HypSen）に対しても一般化可能か？

主な発見

• CAVEデータセット（32×拡大）において、HSR-DiffはPSNR 44.33、SSIM 0.9951、SAM 3.71、ERGAS 0.179を達成し、比較手法をすべて上回った。
• PaviaUデータセット（4×拡大）において、HSR-DiffはPSNR 46.47、SSIM 0.9977、SAM 1.45、ERGAS 1.053を達成し、実世界データにおいても優れた性能を示した。
• Chikuseiデータセット（4×拡大）において、HSR-DiffはPSNR 57.34、ERGAS 0.324を達成し、極めて高い再構成精度と最小限の歪みを示した。
• アブレーションスタディの結果、自己注意機構を備えたCDFormerはU-NetやCNNベースの変種を上回り、アテンションによるグローバルモデリングの有効性を裏付けた。
• 段階的学習は、固定パッチ学習と比較して、CAVEでPSNR 1.16 dB、PaviaUで1.41 dBの向上をもたらし、グローバル統計を捉える上で有効であることが示された。
• 実世界のHypSenデータセットにおける一般化実験では、合成データで学習したにもかかわらず、HSR-Diffは視覚的に優れた結果と豊富な詳細を生成した。