[論文レビュー] Mixed Attention Network for Hyperspectral Image Denoising

Zeqiang Lai, Ying Fu|arXiv (Cornell University)|Jan 27, 2023

Image and Signal Denoising Methods被引用数 7

ひとこと要約

本稿では、ハイパースペクトル画像のノイズ除去のための混合注意ネットワーク（MAN）を提案する。MANは、マルチヘッド再帰的スペクトル注意機構を用いて帯間相関を統合的にモデル化し、段階的なスペクトルチャネル注意機構により帯内関係を捉える一方で、注意に基づくスキップ接続を用いて低レベルおよび高レベル特徴を適応的に統合する。MANは、シミュレーテッドおよび実世界のノイズの両方において、先行手法と比較してパrameter数が少なく、推論時間が短いという点で最先端の性能を達成する。

ABSTRACT

Hyperspectral image denoising is unique for the highly similar and correlated spectral information that should be properly considered. However, existing methods show limitations in exploring the spectral correlations across different bands and feature interactions within each band. Besides, the low- and high-level features usually exhibit different importance for different spatial-spectral regions, which is not fully explored for current algorithms as well. In this paper, we present a Mixed Attention Network (MAN) that simultaneously considers the inter- and intra-spectral correlations as well as the interactions between low- and high-level spatial-spectral meaningful features. Specifically, we introduce a multi-head recurrent spectral attention that efficiently integrates the inter-spectral features across all the spectral bands. These features are further enhanced with a progressive spectral channel attention by exploring the intra-spectral relationships. Moreover, we propose an attentive skip-connection that adaptively controls the proportion of the low- and high-level spatial-spectral features from the encoder and decoder to better enhance the aggregated features. Extensive experiments show that our MAN outperforms existing state-of-the-art methods on simulated and real noise settings while maintaining a low cost of parameters and running time.

研究の動機と目的

• ハイパースペクトル画像（HSI）ノイズ除去における、複雑なスペクトル相関関係および特徴相互作用をモデル化する既存手法の限界を克服すること。
• 帯間依存関係を全波長帯にわたり同時に捉え、帯内関係を各波長帯内で強化することで、ノイズ除去性能を向上させること。
• エンコーダーとデコーダー間の特徴統合を、スキップ接続に対して空間的・スペクトル的注意重みを学習させることで、適応的に行うことで向上させること。
• 特に実世界の応用を念頭に置き、最小限のパrameter数と高速な推論を維持しながら、高い効率性を確保すること。

提案手法

• マルチヘッド再帰的スペクトル注意（MHRSA）を導入し、2つの軽量MLPを用いて再帰的注意を波長帯に跨いで適用することで、動的注意マップと値特徴を生成し、効率的な双方向的文脈集約を実現する。
• 段階的スペクトルチャネル注意（PSCA）を提案し、帯間統合後に各波長帯内での特徴強化を、動的および静的チャネルミキシングを段階的に適用することで実現する。
• 注意に基づくスキップ接続（ASC）を設計し、エンコーダーとデコーダーからの特徴に対して要素ごとの統合重みを学習させ、情報量の多い空間的・スペクトル的領域を適応的に選択可能にする。
• MHRSA、PSCA、ASCをU字型ネットワークアーキテクチャに統合し、複数スケールおよびスペクトル次元にわたり段階的に特徴を精錬する。
• 注意計算に密行列畳み込みを用いるのではなく、MLPに依存する軽量設計を採用し、パrameterの増加を最小限に抑える。
• シミュレーテッドおよび実世界のHSIノイズ除去ベンチマークで、エンドツーエンドに訓練し、寄与度を検証するアブレーションスタディを実施する。

Figure 1 : Speed and performance comparison. Our method outperforms state-of-the-art methods with low-cost parameters and runtime. Comparisons are performed on the ICVL dataset with blind Gaussian noise.

実験結果

リサーチクエスチョン

• RQ1 再帰的スペクトル注意機構は、全波長帯にわたり帯間相関関係を効果的にモデル化しつつ、計算効率を維持できるか？
• RQ2 段階的帯内チャネル注意機構は、帯間統合後に各波長帯内での特徴表現を向上させることができるか？
• RQ3 空間的・スペクトル的注意重みを学習する適応的スキップ接続は、標準的な加算型または連結型スキップ接続を上回る性能を示せるか？
• RQ4 帯間および帯内相関関係の統合的モデリングに加え、適応的特徴統合を組み合わせることで、パrameterコストを抑えた最先端のノイズ除去性能を達成できるか？

主な発見

• 提案されたMANは、ガウスノイズ（σ=50）下でのICVLデータセットにおいて、41.94 dBという最先端のPSNRを達成し、すべてのSOTA手法を上回る性能を示した。
• 3D畳み込みとReLUを用いたベースラインUNetと比較して、0.36 dBの向上を達成し、PSCAが帯内特徴強化に有効であることを実証した。
• MHRSAブロックが最大の性能向上をもたらし、PSNRを0.52 dB向上させ、帯間相関関係のモデリングの重要性を裏付けた。
• 注意に基づくスキップ接続は、標準的な加算型スキップ接続と比較して0.35 dBの向上を示し、情報量の多い特徴を的確に強調できる能力を示した。
• MANは小型なモデルサイズ（1.39Mパラメータ）と高速な推論時間（0.97秒）を維持しており、より重いモデル（GRUNet：14.2Mパラメータ、0.87秒）を速度と精度の両面で上回った。
• 可視化結果から、ASCおよびMHRSAの注意マップが、コンテンツに応じて空間的およびスペクトル的に適応的であることが確認され、異なる領域や波長帯に注目していることが示された。

Figure 2 : Overall architectures of the proposed mixed attention network and mixed attention block.