[論文レビュー] SSCAN: A Spatial-spectral Cross Attention Network for Hyperspectral Image Denoising

Zhiqiang Wang, Zhenfeng Shao+4 more|arXiv (Cornell University)|May 23, 2021

Image and Signal Denoising Methods参考文献 35被引用数 18

ひとこと要約

本論文では、グループ畳み込みとアテンションメカニズムを活用して隣接するスペクトルバンド間の相関関係と空間的特徴を効果的に捉えることにより、ハイパースペクトル画像（HSI）のノイズ除去に向けた新しい空間的・スペクトル的クロスアテンションネットワーク、SSCANを提案する。スペクトルグループクロスアテンションモジュール（SGCAM）と空間的・スペクトル的アテンションブロック（SSAB）を導入することで、複数のノイズレベルにおいて定量的指標および視覚的品質の両面で、既存手法を上回る最先端の性能を達成している。

ABSTRACT

Hyperspectral images (HSIs) have been widely used in a variety of applications thanks to the rich spectral information they are able to provide. Among all HSI processing tasks, HSI denoising is a crucial step. Recently, deep learning-based image denoising methods have made great progress and achieved great performance. However, existing methods tend to ignore the correlations between adjacent spectral bands, leading to problems such as spectral distortion and blurred edges in denoised results. In this study, we propose a novel HSI denoising network, termed SSCAN, that combines group convolutions and attention modules. Specifically, we use a group convolution with a spatial attention module to facilitate feature extraction by directing models' attention to band-wise important features. We propose a spectral-spatial attention block (SSAB) to exploit the spatial and spectral information in hyperspectral images in an effective manner. In addition, we adopt residual learning operations with skip connections to ensure training stability. The experimental results indicate that the proposed SSCAN outperforms several state-of-the-art HSI denoising algorithms.

研究の動機と目的

• 既存のディープラーニング手法がバンド間相関を無視することで生じるスペクトル歪みおよびエッジのぼやけを是正すること。
• ハイパースペクトル画像における空間的およびスペクトル的依存関係を効果的に捉えるディープラーニングフレームワークの構築。
• 高精度なノイズ除去性能を維持しつつ、モデルパラメータを削減し、特徴抽出の効率を向上させること。
• PSNR、SSIM、SAM、ERGAS指標において、最先端手法と比較して優れたノイズ除去結果を達成すること。

提案手法

• 隣接するスペクトルバンドをグループ化し、クロスアテンションを適用することでバンド間相関をモデル化するスペクトルグループクロスアテンションモジュール（SGCAM）を提案。
• 空間的およびスペクトル的アテンションモジュールを統合した空間的・スペクトル的アテンションブロック（SSAB）を導入し、両ドメインにおける関連特徴に焦点を当てる。
• 特徴抽出段階でのパラメータ数を削減し、計算効率を向上させるためにグループ畳み込みを採用。
• 訓練の安定化と勾配の流れの改善を図るため、スキップ接続を用いた残差学習を適用。
• SGCAM内でのクロスアテンション機構により、スペクトル的および空間的次元における特徴の重要度を動的に重み付け。
• 複数のSSABを段階的に接続することで、グループ化されたHSIバンドから深層的な空間的・スペクトル的表現を段階的に抽出。

実験結果

リサーチクエスチョン

• RQ1 バンド間のスペクトル相関関係を明示的にモデル化するディープラーニングモデルは、バンドを独立に扱う手法よりも優れたHSIノイズ除去性能を達成できるか？
• RQ2 空間的・スペクトル的アテンションブロックは、標準的な畳み込み層と比較して、HSIノイズ除去のための特徴表現をどの程度向上させるか？
• RQ3 クロスアテンション機構を用いて隣接スペクトルバンドをグループ化することで、パラメータ数を削減しつつノイズ除去精度を維持または向上できるか？
• RQ4 提案手法SSCANは、既存のSOTA手法と比較して、どの程度スペクトル歪みおよびエッジのぼやけを低減できるか？
• RQ5 グループ畳み込みとアテンションメカニズムの統合は、HSIノイズ除去において収束速度の向上および一般化性能の向上をもたらすか？

主な発見

• ノイズレベルσ = 5の場合、SSCANは平均PSNR 45.32 dBを達成し、2番目に優れた手法（GradNet：43.87 dB）を上回り、従来手法（LRTA：43.67 dB）を著しく上回った。
• σ = 25の場合、SSCANは最高のPSNR（39.78 dB）とMSSIM（0.9770）を記録し、最小のSAM（1.9479°）とERGAS（1.4931）を示し、優れたスペクトル忠実性を示した。
• σ = 50の場合、SSCANはPSNR 36.73 dBを達成し、NGMeet（36.37 dB）および他のすべての手法を上回り、SAM（2.6162°）とERGAS（2.0739）においても優れた性能を示し、高ノイズ環境下でのロバストネスを確認した。
• σ = 75の場合、SSCANはPSNR 35.36 dBを達成し、SAM（2.9655°）とERGAS（2.4178）で最高を記録し、全ノイズレベルで一貫した性能を発揮した。
• 視覚的比較および誤差マップの結果、SSCANはDnCNN、MemNet、HSIDなどの競合手法と比較して、よりクリアな結果と少ないアーティファクト、残存ノイズを生成した。
• 全4つの評価指標（MPSNR、MSSIM、SAM、ERGAS）において、すべてのノイズレベルで最高の総合的性能を達成し、定量的および定性的な両評価において優位性を確認した。