[論文レビュー] ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution

Mingjin Zhang, Chengqi Zhang+4 more|arXiv (Cornell University)|Jul 26, 2023

Advanced Image Fusion Techniques被引用数 4

ひとこと要約

本稿では、スペクトル相関係数（SCC）に基づくスペクトルに配慮したカーネル化された自己注意メカニズムを用いて、標準的な自己注意を置き換えることで、線形計算量を達成し、小規模データセットからの事前学習なしで訓練可能な、効率的なハイパースペクトル画像スーパーレゾリューション用の新規なTransformerアーキテクチャ、ESSAformerを提案する。SCCのスペクトルシフトおよびスケーリングに対する不変性を活用し、メルツァーのカーネル定理を用いて注意メカニズムを再定式化することで、高速な推論を実現し、最先端の性能を達成する。

ABSTRACT

Single hyperspectral image super-resolution (single-HSI-SR) aims to restore a high-resolution hyperspectral image from a low-resolution observation. However, the prevailing CNN-based approaches have shown limitations in building long-range dependencies and capturing interaction information between spectral features. This results in inadequate utilization of spectral information and artifacts after upsampling. To address this issue, we propose ESSAformer, an ESSA attention-embedded Transformer network for single-HSI-SR with an iterative refining structure. Specifically, we first introduce a robust and spectral-friendly similarity metric, \ie, the spectral correlation coefficient of the spectrum (SCC), to replace the original attention matrix and incorporates inductive biases into the model to facilitate training. Built upon it, we further utilize the kernelizable attention technique with theoretical support to form a novel efficient SCC-kernel-based self-attention (ESSA) and reduce attention computation to linear complexity. ESSA enlarges the receptive field for features after upsampling without bringing much computation and allows the model to effectively utilize spatial-spectral information from different scales, resulting in the generation of more natural high-resolution images. Without the need for pretraining on large-scale datasets, our experiments demonstrate ESSA's effectiveness in both visual quality and quantitative results.

研究の動機と目的

• ハイパースペクトル画像スーパーレゾリューション（HSI-SR）における長距離の空間的・スペクトル的相関を捉えることの難しいCNNベースの手法の限界を解消すること。
• 標準的なビジョンTransformerが大規模データセットを必要とし、二次的注意計算量に起因する計算コストの高さというデータおよび計算のボトル neck を克服すること。
• スペクトルアモルティチュードの変動（影や遮蔽によるものなど）に対してロバストであり、小規模データセットからの有効な訓練を可能にする自己注意メカニズムの設計。
• 高分解能HSIの復元を、計算量が線形であることを保ちつつ、視覚的および定量的性能を維持または向上させること。

提案手法

• ドット積注意の代わりに、スペクトルのシフトおよびスケーリングに対して不変であるというインダクティブバイアスを有する、スペクトルに配慮した類似度測度としてのスペクトル相関係数（SCC）を導入する。
• SCCに基づく自己注意メカニズム（ESSA）を提案し、非線形の平方指数カーネルを用いてカーネル化することで、線形計算量を達成する。
• メルツァーの定理を用いてSCCを変換された特徴量のドット積として表現し、キーや値を最初に乗算するように注意演算を再順序することで、計算を効率化する。
• ダウンサンプリングとアップサンプリングを交互に繰り返す反復的精錬アーキテクチャを設計し、マルチスケールの空間的・スペクトル的表現を捉える。
• パラメータ効率的で軽量な設計を採用し、大規模な事前学習なしに、スクラッチからの有効な訓練を可能にする。
• VISION TransformerバックボーンにESSAモジュールを統合し、単一のHSI-SRに特化したアーキテクチャ、ESSAformerを構築する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル相関係数（SCC）に基づく自己注意メカニズムは、大規模な事前学習を必要とせず、データ効率性とロバスト性を向上させることができるか？
• RQ2 標準的な自己注意の二次的計算量を、高分解能HSIにおける長距離依存関係のモデリングを維持したまま、線形計算量に低減できるか？
• RQ3 ESSA注意メカニズムは、PSNR、SAM、および推論速度という観点で、標準的なマルチヘッド自己注意や他の線形注意変種を上回る性能を示すか？
• RQ4 提案されたESSAformerは、ICVLおよびNTIREを含む小規模および大規模なHSI-SRデータセットにおいて、最先端の性能を達成できるか？
• RQ5 ESSA注意メカニズムは、遮蔽や照明変化などのスペクトル歪み下でも、注意の安定性を維持できるか？

主な発見

• Chikusei 4×データセットでは、ESSAformerはPSNR 40.7648、SAM 2.2126を達成し、SwinIR や RLFN といった先行SOTA手法を上回った。
• 大規模なICVLデータセットでは、ESSAformerはPSNR 39.5158、SAM 1.9130を達成し、両指標でRLFN や SwinIR を上回った。
• NTIRE2022データセットでは、ESSAformerはPSNR 37.8432、SAM 1.2202を達成し、大規模ベンチマークにおける優れた一般化性能を示した。
• NTIRE2020では、SwinIR よりも2倍以上の高速な推論速度を達成しながら、PSNRは同等を維持しており、優れた効率-性能トレードオフを示した。
• 注意マップの分析から、ESSAはスペクトルノイズ（例：シフトやスケーリング）下でも特徴の識別的領域に注目を保っている一方で、標準的なMHSAは機能を失うことが確認され、そのロバスト性が裏付けられた。
• ESSAを用いた学習は、チャネル別注意よりも収束が早く、より低い損失値を達成しており、訓練の効率性と安定性の向上が示された。