[論文レビュー] HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening

Wele Gedara Chaminda Bandara, Vishal M. Patel|arXiv (Cornell University)|Mar 4, 2022

Advanced Image Fusion Techniques被引用数 14

ひとこと要約

HyperTransformerは、パンクロマチック（PAN）画像から高分解能のテクスチャ特徴を低分解能のハイパースペクトル（LR-HSI）特徴へ転送する、自己注意に基づく新規な特徴融合機構を提案する。マルチヘッドソフトアテンションモジュールを用いて、複数スケールにおけるクロス特徴空間の依存関係と長距離の空間的・スペクトル的関係をモデル化することで、ベンチマークデータセット上でのスペクトル的および空間的品質において最先端の性能を達成し、従来手法に比べてRMSEで最大11.2%、PSNRで2.1 dBの向上を実現した。

ABSTRACT

Pansharpening aims to fuse a registered high-resolution panchromatic image (PAN) with a low-resolution hyperspectral image (LR-HSI) to generate an enhanced HSI with high spectral and spatial resolution. Existing pansharpening approaches neglect using an attention mechanism to transfer HR texture features from PAN to LR-HSI features, resulting in spatial and spectral distortions. In this paper, we present a novel attention mechanism for pansharpening called HyperTransformer, in which features of LR-HSI and PAN are formulated as queries and keys in a transformer, respectively. HyperTransformer consists of three main modules, namely two separate feature extractors for PAN and HSI, a multi-head feature soft attention module, and a spatial-spectral feature fusion module. Such a network improves both spatial and spectral quality measures of the pansharpened HSI by learning cross-feature space dependencies and long-range details of PAN and LR-HSI. Furthermore, HyperTransformer can be utilized across multiple spatial scales at the backbone for obtaining improved performance. Extensive experiments conducted on three widely used datasets demonstrate that HyperTransformer achieves significant improvement over the state-of-the-art methods on both spatial and spectral quality measures. Implementation code and pre-trained weights can be accessed at https://github.com/wgcban/HyperTransformer.

研究の動機と目的

• PANとLR-HSIの間のクロス特徴依存関係を効果的にモデル化できない既存のパンシャープニング手法の限界を解消すること。
• 高分解能のテクスチャ特徴と低分解能のスペクトル特徴を単純に連結するか、ガイドのない融合によって生じる空間的およびスペクトル的歪みを克服すること。
• グローバルな文脈とスペクトル類似性に基づいて、PAN画像からLR-HSIの各空間的位置に最も関連するHRテクスチャ特徴を的確に転送するためのアテンションメカニズムを活用すること。
• バックボーン内でマルチスケール特徴融合を可能にし、異なる空間的分解能におけるより豊かなテクスチャ表現を捉えること。
• アテンションによってガイドされる専用のテクスチャ・スペクトル特徴融合モジュールを用いて、パンシャープニングされたHSIのスペクトル的および空間的忠実度を向上させること。

提案手法

• PANとLR-HSIをそれぞれ深層特徴表現にエンコードするための2つの独立した特徴抽出器（FE-PAN および FE-HSI）を採用する。
• マルチヘッド自己注意機構において、LR-HSI特徴をクエリ（Q）とし、PAN特徴をキー（K）および値（V）とする。
• マルチヘッド特徴ソフトアテンションモジュールを用い、LR-HSIの各空間的位置に対してPAN内での最も関連性の高いHRテクスチャ特徴に動的に注目する。
• 注目されたPAN特徴とLR-HSI特徴を統合する空間的・スペクトル的特徴融合モジュールを導入し、強化されたHSI表現を生成する。
• 階層的なテクスチャディテールを捉え、特徴表現学習を向上させるために、複数の空間スケール（×1, ×2, ×4）にHyperTransformerモジュールを統合する。
• ピクセルレベルの精度と高レベルの意味的整合性を両立させるために、L1損失、VGGの知覚損失、およびトランスファー知覚損失の組み合わせを用いてネットワークを訓練する。

Figure 1: How our HyperTransformer differs from existing pansharpening architectures. Traditional pansharpening methods simply concatenate PAN ( $\mathbf{p}$ ) and LR-HSI ( $\mathbf{y}$ ) in (a) image domain [ 58 , 22 ] or (b) feature domain [ 14 , 41 , 45 ] to learn the mapping function from LR-HSI

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムは、パンシャープニングにおいてPANとLR-HSI特徴間の長距離依存関係およびクロス特徴空間的関係を効果的にモデル化できるか？
• RQ2 PAN特徴のマルチスケール統合は、単一スケールの融合に比べて、パンシャープニングされたHSIの品質を向上させるか？
• RQ3 アテンションベースの特徴融合は、連結ベースや畳み込みのみの融合手法と比較して、スペクトル的および空間的歪みを低減できるか？
• RQ4 知覚損失（VGGおよびトランスファーベース）は、出力HSIの知覚的品質およびスペクトル忠実度を向上させるためにどのように寄与するか？
• RQ5 提案されたHyperTransformerは、定量的および定性的な評価において、既存の最先端手法をどの程度上回るか？

主な発見

• Pavia Centerデータセットにおいて、HyperTransformerはCC 0.989、SAM 3.85、RMSE 0.0087、ERGAS 2.01、PSNR 43.80を達成し、従来のSOTA手法を上回った。
• すべての3つのスケール（×1, ×2, ×4）にHyperTransformerを統合すると、×4スケールのみを使用した場合と比較してRMSEで11.2%の改善、PSNRで2.1 dBの向上が得られた。
• トランスファー知覚損失を追加することで、L1損失とVGG知覚損失のみを使用した場合と比較して、SAMは4.0%、RMSEは3.3%改善された。
• アブレーションスタディの結果、マルチスケール特徴融合が性能を顕著に向上させることを確認し、3つのスケールをすべて使用した際に最良の結果が得られた。
• 可視帯におけるMAEの低減とテクスチャの良好な保持が視覚的分析で確認されたが、UVおよびIR帯ではPAN画像の制限により依然として高い誤差が見られた。
• 3つの広く使用されているデータセットにおいても、本手法は一般化性と優位性を示し、スペクトル的および空間的品質指標の両面で優れた性能を発揮した。

Figure 2: Overall structure of the proposed HyperTransformer for textural-spectral feature fusion.