[論文レビュー] Locality-Aware Hyperspectral Classification

Zhou Fang-qin, Mert Kilickaya+1 more|arXiv (Cornell University)|Sep 4, 2023

Remote-Sensing Image Classification被引用数 6

ひとこと要約

本稿では、局所的な空間的文脈とスペクトル情報を、新しい局所-スペクトルアテンションメカニズムと局所-グローバル正則化損失を用いて明示的にモデル化する視覚変換器、HyLITEを提案する。この手法は、SpectralFormerなどの先行手法と比較してインド・パインズデータセットで最大10.83%の精度向上を達成し、最先端の性能を発揮する。

ABSTRACT

Hyperspectral image classification is gaining popularity for high-precision vision tasks in remote sensing, thanks to their ability to capture visual information available in a wide continuum of spectra. Researchers have been working on automating Hyperspectral image classification, with recent efforts leveraging Vision-Transformers. However, most research models only spectra information and lacks attention to the locality (i.e., neighboring pixels), which may be not sufficiently discriminative, resulting in performance limitations. To address this, we present three contributions: i) We introduce the Hyperspectral Locality-aware Image TransformEr (HyLITE), a vision transformer that models both local and spectral information, ii) A novel regularization function that promotes the integration of local-to-global information, and iii) Our proposed approach outperforms competing baselines by a significant margin, achieving up to 10% gains in accuracy. The trained models and the code are available at HyLITE.

研究の動機と目的

• 既存のハイパースペクトル画像分類器が単一にスペクトル情報に依存し、局所的な空間的文脈を無視するという限界を解消すること。
• 異なるクラスのスペクトルシグネチャが非常に類似している場合に生じる誤分類を是正することによる分類性能の向上。
• 局所的およびグローバル表現の統合を促進する新しい正則化損失の開発により、特徴の識別能を向上させること。
• 複数の標準的なハイパースペクトル画像ベンチマークにおいて、最先端の性能を示すこと。

提案手法

• 局所的空間的近傍とスペクトルバンドの両方に同時に注目することで、ハイパースペクトル画像のパッチを処理する視覚変換器アーキテクチャ、HyLITEを導入する。
• 同じ変換器ブロック内で局所的（空間的）およびスペクトル的表現の関係をモデル化する二重ブランチアテンション機構を実装する。
• 遠く離れたピクセルやスペクトル同士が互いに注目するよう促進する新しい局所-グローバル正則化損失を提案する。
• 初期処理段階でスペクトル情報を優先するために、スペクトル次元に初期化されたグローバル分類トークンを用いる。
• 分類層での遅延統合ではなく、変換器ブロック内で局所的およびスペクトル的表現を特徴レベルで統合する。
• 空間的およびスペクトル的位置情報を保持するため、位置エンコーディングを適用して、異なる空間的およびスペクトル的位置を区別可能にする。

実験結果

リサーチクエスチョン

• RQ1 スペクトルシグネチャが非常に類似している場合に、局所的な空間的文脈を明示的にモデル化することでハイパースペクトル画像分類の性能が向上するか？
• RQ2 スペクトルアテンションと局所アテンションの処理順序（スペクトル優先 vs. 局所優先）がハイパースペクトル変換器の分類性能に与える影響は？
• RQ3 局所-グローバル正則化損失は、ハイパースペクトル画像分類における特徴表現および一般化性能をどの程度向上させるか？
• RQ4 局所的およびスペクトル的表現の特徴レベル統合は、分類レベルでの遅延統合を上回る性能を発揮するか？
• RQ5 複数の標準ベンチマークにおいて、SpectralFormerなどの最先端モデルと比較してHyLITEはどのように性能を発揮するか？

主な発見

• インド・パインズデータセットにおいて、SpectralFormerと比較して全体精度が10.83%の絶対的向上を達成し、顕著な性能向上を示した。
• ハットン2013データセットでは、ベースラインと比較して全体精度が3.41%、平均精度が3.41%向上した。
• パビア大学データセットでは、全体精度が6.64%向上し、多様なデータセットにおいて一貫した向上を確認した。
• アブレーションスタディの結果、局所的およびスペクトル的アテンションと正則化損失を併用することで最も高い性能向上が得られ、両者の重要性が示された。
• 特徴レベルでの統合が分類レベルでの遅延統合を大きく上回る性能を発揮した。これは、モodal間の早期相互作用の重要性を裏付けた。
• スペクトルアテンションを局所アテンションよりも先に処理する場合にモデルの性能が最も良く、また、グローバル分類トークンをスペクトル次元に初期化した場合に最適な性能を発揮した。これは、アーキテクチャ設計の感受性を示している。