[論文レビュー] FUSFORMER: A TRANSFORMER-BASED FUSION APPROACH FOR HYPERSPECTRAL IMAGE SUPER-RESOLUTION

Jinfan Hu|arXiv (Cornell University)|Sep 5, 2021

Advanced Image Fusion Techniques参考文献 35被引用数 6

ひとこと要約

本稿では、低分解能の高スペクトル画像（LR-HSI）と高分解能のマルチスペクトル画像（HR-MSI）の間のグローバルな空間的・スペクトル的依存関係を捉えるために自己注意メカニズムを活用する、新しいトランスフォーマー基盤の統合ネットワーク「Fusformer」を提案する。完全なHR-HSIを再構築するのではなく、残差を学習することで、わずか0.1百万パラメータで最先端の性能を達成し、計算コストを顕著に低減しながら精度を向上させた。

ABSTRACT

Hyperspectral image has become increasingly crucial due to its abundant spectral information. However, It has poor spatial resolution with the limitation of the current imaging mechanism. Nowadays, many convolutional neural networks have been proposed for the hyperspectral image super-resolution problem. However, convolutional neural network (CNN) based methods only consider the local information instead of the global one with the limited kernel size of receptive field in the convolution operation. In this paper, we design a network based on the transformer for fusing the low-resolution hyperspectral images and high-resolution multispectral images to obtain the high-resolution hyperspectral images. Thanks to the representing ability of the transformer, our approach is able to explore the intrinsic relationships of features globally. Furthermore, considering the LR-HSIs hold the main spectral structure, the network focuses on the spatial detail estimation releasing from the burden of reconstructing the whole data. It reduces the mapping space of the proposed network, which enhances the final performance. Various experiments and quality indexes show our approach's superiority compared with other state-of-the-art methods.

研究の動機と目的

• 高スペクトル画像スーパーレゾリューション（HSI-SR）におけるCNNベースの手法がグローバルな空間的・スペクトル的関係を捉えきれていないという制限に対処すること。
• トランスフォーマーの自己注意メカニズムを活用し、畳み込み演算よりも効果的にスペクトルおよび空間次元における長距離依存関係をモデル化すること。
• マッピングの複雑さを軽減するために残差学習に焦点を当てることで、訓練の安定性と性能を向上させること。
• 最小限のパラメータと高い汎化能力を持つ、実世界への展開に適した軽量で効率的なアーキテクチャを開発すること。

提案手法

• 提案されたFusformerは、多頭注目（multi-head self-attention）を用いたトランスフォーマー・エンコーダーを採用し、LR-HSIとHR-MSIの特徴間のグローバルな依存関係をモデル化する。
• ネットワークは、完全なHR-HSIを直接再構築するのではなく、アップサンプリングされたLR-HSIと真値HR-HSIとの間の残差を予測するように学習する。
• 自己注意メカニズムにより、局所的な畳み込みとは異なり、スペクトルバンドや空間位置の間で長距離かつ非局所的な関係をより効果的に捉えることができる。
• アーキテクチャは単純でパラメータ効率的であり、わずか0.1百万パラメータにとどまり、実用性と汎化能力を高めている。
• 特徴統合はネットワークの初期段階で実施され、トランスフォーマーが両入力モodalの補完的情報を同時に注目できるようにしている。
• モデルは、知覚的損失とPSNR、SAM、ERGAS、SSIMといった標準指標を用いて、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のアーキテクチャは、グローバルな空間的・スペクトル的依存関係をモデル化することで、従来のCNNベースの手法を上回ることができるか？
• RQ2 残差学習はHSIスーパーレゾリューションネットワークの性能と安定性にどのように影響するか？
• RQ3 最小限のパラメータを有する軽量トランスフォーマー・アーキテクチャは、異なるデータセットや画像タイプにわたってどの程度汎化可能か？
• RQ4 自己注意メカニズムは、局所的受容野に基づく畳み込みと比較して、HSI-SRにおける再構成品質を向上させるか？
• RQ5 単純でパラメータ効率的なトランスフォーマー設計は、精度を犠牲にすることなく最先端の性能を達成できるか？

主な発見

• CAVEデータセットではFusformerがPSNR 48.56を達成し、パラメータ数がはるかに多い他の最先端手法をすべて上回った。
• ハーバードデータセットではFusformerがPSNR 44.42を記録し、1位となり、強力な汎化能力を示した。
• CAVEではSAM（2.52）とERGAS（1.30）の値が最低となり、優れたスペクトル忠実度と再構成精度を示した。
• アブレーションスタディにより、残差学習が不可欠であることが確認され、これを削除するとPSNRが5.8 dB以上低下した。これは、安定性と性能向上におけるその重要性を示している。
• わずか0.1百万パラメータで、最大363万パラメータを有するモデルをも凌駕した。これは、その効率性と有効性を裏付けるものである。
• 視覚的結果と残差マップから、Fusformerは最も正確で詳細な再構成を生成し、最も暗い残差マップを示しており、再構成誤差が最小であることが明らかになった。