[論文レビュー] Degradation-Noise-Aware Deep Unfolding Transformer for Hyperspectral Image Denoising

Haijin Zeng, Jiezhang Cao+5 more|arXiv (Cornell University)|May 6, 2023

Image and Signal Denoising Methods被引用数 5

ひとこと要約

本稿では、非定型的かつガウス分布ノイズを同時にモデル化し、段階的に劣化パラメータを推定する、新しい劣化-ノイズに配慮した深層アンフォールディングTransformer、DNA-Netを提案する。U-Shape型の局所-非局所-スペクトル注意機構（U-LNSA）モジュールを統合することで、長距離依存性とスペクトル相関を捉え、計算コストを低く抑えつつ、重度のノイズ下でも優れた耐性を示す最先端の性能を達成する。

ABSTRACT

Hyperspectral imaging (HI) has emerged as a powerful tool in diverse fields such as medical diagnosis, industrial inspection, and agriculture, owing to its ability to detect subtle differences in physical properties through high spectral resolution. However, hyperspectral images (HSIs) are often quite noisy because of narrow band spectral filtering. To reduce the noise in HSI data cubes, both model-driven and learning-based denoising algorithms have been proposed. However, model-based approaches rely on hand-crafted priors and hyperparameters, while learning-based methods are incapable of estimating the inherent degradation patterns and noise distributions in the imaging procedure, which could inform supervised learning. Secondly, learning-based algorithms predominantly rely on CNN and fail to capture long-range dependencies, resulting in limited interpretability. This paper proposes a Degradation-Noise-Aware Unfolding Network (DNA-Net) that addresses these issues. Firstly, DNA-Net models sparse noise, Gaussian noise, and explicitly represent image prior using transformer. Then the model is unfolded into an end-to-end network, the hyperparameters within the model are estimated from the noisy HSI and degradation model and utilizes them to control each iteration. Additionally, we introduce a novel U-Shaped Local-Non-local-Spectral Transformer (U-LNSA) that captures spectral correlation, local contents, and non-local dependencies simultaneously. By integrating U-LNSA into DNA-Net, we present the first Transformer-based deep unfolding HSI denoising method. Experimental results show that DNA-Net outperforms state-of-the-art methods, and the modeling of noise distributions helps in cases with heavy noise.

研究の動機と目的

• 既存の学習ベースのHSIノイズ除去手法におけるノイズ分布のモデル化の欠如に対処する。
• CNNベースのモデルが長距離の空間的およびスペクトル的依存性を捉えることの制限を克服する。
• 劣化に配慮したパrameter推定を深層アンフォールディングフレームワークに統合することで、HSIノイズ除去における解釈可能性と性能を向上させる。
• モデルベース手法とディープラーニングの長所を組み合わせたハイブリッドモデルを構築し、頑健なHSIレスタレーションを実現する。

提案手法

• 最尤推定（MAP）に基づく深層アンフォールディングフレームワーク（DNA-Net）を提案し、最適化プロセス内にスパースノイズとガウスノイズの両方を明示的にモデル化する。
• ノイズがかかるHSIと劣化モデルから直接、ハイパーパrameterおよびノイズ特性を推定し、各アンフォールディング段階をガイドする。
• 局所特徴、スペクトル相関、非局所的依存性を統合的に捉えるために、U-Shape型の局所-非局所-スペクトル注意機構（U-LNSA）モジュールを導入する。
• 最適化プロセスをエンドツーエンド学習可能なネットワークにアンフォールドし、各段階で忠実度と事前知識の学習を組み合わせ、注意に基づく特徴精錬を実装する。
• 従来のCNNに代えて、トランスフォーマーに基づくアーキテクチャを採用することで、グローバルな文脈モデリングと優れた長距離特徴学習を可能にする。
• 各反復段階にノイズに配慮した損失関数とパrameter推定を統合し、さまざまなノイズ条件下での耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層アンフォールディングフレームワークは、HSIノイズ除去においてスパースノイズとガウスノイズの両分布を効果的にモデル化できるか？
• RQ2 劣化に配慮したパrameter推定を組み込むことで、ノイズ除去性能と一般化性能はどのように向上するか？
• RQ3 U-LNSAのような自己注意機構は、HSIデータにおける長距離の空間的およびスペクトル的依存性をCNNよりもどれほど効果的に捉えることができるか？
• RQ4 トランスフォーマーに基づくアーキテクチャを深層アンフォールディングフレームワークに統合することで、従来の最先端手法と比較して優れた性能と低い計算コストを達成できるか？
• RQ5 提案されたDNA-Netアーキテクチャにおいて、反復回数と性能のトレードオフはどのようなものか？

主な発見

• S1データセットにおけるCase -3ノイズ下で、DNA-Netは44.168 dBのPSNRを達成し、以前の最先端手法SERTを1.78 dB上回った。
• S9データセットにおけるCase -4ノイズ下で、DNA-Net-Bは43.780 dBのPSNRを記録し、SERTを1.79 dB上回り、重度のノイズ下でも優れた耐性を示した。
• 提案されたU-LNSAモジュールは性能を顕著に向上させた：スペクトル的および非局所的注意を追加することで、局所のみの注意と比較してPSNRが1.5 dB以上向上した。
• 5反復のDNA-Net-Bは、2反復のDNA-Net-Lよりも高いPSNRとSSIMを達成したが、推論時間の増加を伴った。
• DNA-Netは、従来の手法と比較して顕著に低い計算コストとメモリ使用量で最先端の性能を達成した。
• アブレーションスタディの結果、特に高ノイズ環境下において、ノイズに配慮したパrameter推定とマルチヘッド注意機構が性能向上に不可欠であることが確認された。