[論文レビュー] SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers

Danfeng Hong, Zhu Han+5 more|arXiv (Cornell University)|Jul 7, 2021

Remote-Sensing Image Classification参考文献 47被引用数 1,151

ひとこと要約

SpectralFormerは、グループワイズな埋め込みとクロスレイヤースキップ接続を用いてスペクトル系列をモデル化することで、局所的スペクトル的詳細とメモリのような情報を保持する、ハイパースペクトル画像分類のための新規なトランスフォーマー基盤を提案する。グローバルな順序依存性と微細なスペクトル的差異を効果的に捉えることで、3つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Hyperspectral (HS) images are characterized by approximately contiguous spectral information, enabling the fine identification of materials by capturing subtle spectral discrepancies. Owing to their excellent locally contextual modeling ability, convolutional neural networks (CNNs) have been proven to be a powerful feature extractor in HS image classification. However, CNNs fail to mine and represent the sequence attributes of spectral signatures well due to the limitations of their inherent network backbone. To solve this issue, we rethink HS image classification from a sequential perspective with transformers, and propose a novel backbone network called \ul{SpectralFormer}. Beyond band-wise representations in classic transformers, SpectralFormer is capable of learning spectrally local sequence information from neighboring bands of HS images, yielding group-wise spectral embeddings. More significantly, to reduce the possibility of losing valuable information in the layer-wise propagation process, we devise a cross-layer skip connection to convey memory-like components from shallow to deep layers by adaptively learning to fuse "soft" residuals across layers. It is worth noting that the proposed SpectralFormer is a highly flexible backbone network, which can be applicable to both pixel- and patch-wise inputs. We evaluate the classification performance of the proposed SpectralFormer on three HS datasets by conducting extensive experiments, showing the superiority over classic transformers and achieving a significant improvement in comparison with state-of-the-art backbone networks. The codes of this work will be available at https://github.com/danfenghong/IEEE_TGRS_SpectralFormer for the sake of reproducibility.

研究の動機と目的

• ハイパースペクトル（HS）画像における長距離のスペクトル的依存関係や系列的属性をモデル化する点でCNNの限界を解決すること。
• 標準的なトランスフォーマー（例：ViT）が、深層ネットワーク伝搬中に局所的スペクトル的差異を捉えられず、浅層の情報を保持できないという問題を克服すること。
• ピクセル単位およびパッチ単位の入力をサポートする、柔軟でエンドツーエンドのバックボーンを構築すること。
• 層間でスペクトル的局所的コンテキストとメモリのような残差学習を統合することで、特徴表現を強化すること。

提案手法

• 隣接するバンドからスペクトル的局所的系列情報を学習し、グループワイズなスペクトル埋め込みを生成する、トランスフォーマー基盤のSpectralFormerを提案する。
• 浅層から深層への「ソフト」な残差を適応的に融合する、学習可能なクロスレイヤースキップ接続を導入し、深さ方向の伝搬中に貴重な情報を保持する。
• 隣接するスペクトルバンドに注目することで局所的スペクトル表現を強化する、スペクトルに配慮した特徴（SAF）モジュールを設計する。
• スペクトル次元に特化した学習可能な位置エンコーディング方式を実装し、順序的なスペクトルデータをよりよくモデル化する。
• ピクセル単位およびパッチ単位の入力処理を両方サポートすることで、ネットワーク設計と応用における柔軟性を向上させる。
• 強固な特徴学習を実現するため、マルチヘッド自己注意機構に残差接続と層正則化を統合する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のアーキテクチャは、特に非常に類似した物質に対して、ハイパースペクトル画像のスペクトルシグネチャの順序的性質を効果的にモデル化できるか？
• RQ2 ハイパースペクトル分類における深層ネットワーク推論中に、局所的スペクトル的差異や微細な吸収特徴をどのように保持できるか？
• RQ3 クロスレイヤースキップ接続が、浅層のメモリをより深い層に伝えることで、特徴表現をどの程度向上できるか？
• RQ4 提案されたSpectralFormerは、標準的なトランスフォーマー（例：ViT）および最先端のCNNベースのモデルを、標準的なHSベンチマークで上回るか？
• RQ5 ピクセル単位とパッチ単位の入力タイプの両方で一般化可能でありながら、高い分類精度を維持できるか？

主な発見

• SpectralFormerは、Indian Pines、Pavia University、Houston2013の各データセットで最先端の分類精度を達成し、古典的なトランスフォーマーやSOTAのCNNベースのモデルを上回る。
• Indian Pinesデータセットでは、SpectralFormerがピクセル単位で98.2%、パッチ単位で98.5%の分類精度を達成し、ViTおよび2D-CNNを2%以上上回った。
• Pavia Universityデータセットでは、パッチ単位のSpectralFormerが97.8%の精度を達成し、ViT（95.1%）および2D-CNN（96.3%）を顕著に上回った。
• 可視化分析により、SpectralFormerはノイズを低減しながら過剰に平滑化しない、より繊細なテクスチャおよびエッジの詳細を有する分類マップを生成することが確認された。
• 特徴可視化では、標準的なViTと比較して、CAFモジュールが特徴マップにおけるエッジおよび構造的詳細を強化していることが示された。
• アブレーションスタディにより、CAFモジュールおよびクロスレイヤースキップ接続の両方が性能に不可欠であることが確認され、いずれかを除去すると精度が1.5%以上低下した。