[論文レビュー] Spectral Pyramid Graph Attention Network for Hyperspectral Image Classification

Tinghuai Wang, Guangming Wang+2 more|arXiv (Cornell University)|Jan 20, 2020

Remote-Sensing Image Classification参考文献 13被引用数 8

ひとこと要約

本稿では、多スケールのスペクトルコンテキストを捉えるためにアトラス畳み込みを活用し、空間的・スペクトル的依存関係を動的にモデル化するためのスペクトルピラミッドグラフアテンションネットワーク（SPGAT）を提案する。この手法は、3つのベンチマークデータセットで最先端の精度を達成し、ベースライン比で最高で3.67%のOA向上を達成した。

ABSTRACT

Convolutional neural networks (CNN) have made significant advances in hyperspectral image (HSI) classification. However, standard convolutional kernel neglects the intrinsic connections between data points, resulting in poor region delineation and small spurious predictions. Furthermore, HSIs have a unique continuous data distribution along the high dimensional spectrum domain - much remains to be addressed in characterizing the spectral contexts considering the prohibitively high dimensionality and improving reasoning capability in light of the limited amount of labelled data. This paper presents a novel architecture which explicitly addresses these two issues. Specifically, we design an architecture to encode the multiple spectral contextual information in the form of spectral pyramid of multiple embedding spaces. In each spectral embedding space, we propose graph attention mechanism to explicitly perform interpretable reasoning in the spatial domain based on the connection in spectral feature space. Experiments on three HSI datasets demonstrate that the proposed architecture can significantly improve the classification accuracy compared with the existing methods.

研究の動機と目的

• ハイパースペクトル画像（HSI）における内在的な空間的・スペクトル的関係を捉えることに課題を有する標準的CNNの限界を解消すること。
• 領域の輪郭抽出を妨げる固定の受容 field と等方的カーネル挙動を示す標準的畳み込みの欠点を克服すること。
• 高いスペクトル次元と限られたラベルデータの下でも、多スケールのスペクトルコンテキストを効果的にモデル化すること。
• 固定された空間的格子ではなく、スペクトル特徴の類似性に基づいて動的にグラフを構築することで、推論能力を向上させること。
• 複数の文脈レベルにおける判別性の高いスペクトルチャンネルに注目することで、特徴の集約を強化すること。

提案手法

• 異なる拡張率を有するアトラス畳み込みを用いてスペクトルピラミッドを構築し、複数の埋め込み空間にわたり多スケールのスペクトルコンテキスト情報を符号化する。
• 各スペクトル埋め込み空間において、ピクセル間のスペクトル特徴の類似性に基づいて動的で学習可能な関係をモデル化するため、グラフアテンションネットワーク（GAT）を適用する。
• グラフのノードは、スペクトル的および空間的近接性に基づいて、注目度を重みづけたアテンション機構を用いて動的に接続される。
• スペクトルアテンションブロックにより、単純な平均化ではなく、最も判別性の高いチャンネルに注目して、複数の文脈レベルに跨る特徴を集約する。
• アーキテクチャはエンドツーエンドで学習可能であり、スペクトルピラミッド学習とグラフベースの推論を統合することで、特徴表現を強化する。
• スペクトル集約段階では、複数のヘッドアテンションを用いることで、文脈的範囲に応じて情報量の多いスペクトルバンドを強調する。

実験結果

リサーチクエスチョン

• RQ1 高次元かつラベルが限られたハイパースペクトル画像において、多スケールのスペクトルコンテキスト表現は分類性能の向上に寄与するか？
• RQ2 スペクトル特徴の類似性に基づく動的グラフ構築は、固定された空間的格子と比較して、空間的・スペクトル的推論をどのように向上させるか？
• RQ3 複数のスペクトルコンテキストに跨るアテンションベースの特徴集約は、グラフベースのモデルにおける単純な平均化を上回るか？
• RQ4 提案されたグラフアテンション機構は、誤った予測をどれほど低減させ、領域の輪郭抽出をどの程度改善するか？
• RQ5 スペクトルピラミッドとグラフアテンションの統合は、標準的なHSIベンチマークにおける既存のGCNおよびCNNベースの手法と比較して、どの程度優れているか？

主な発見

• パビア大学データセットでは、SPGATは全体精度（OA）が98.92%に達し、ベースラインのSPGAT-1（95.25%）を3.67%上回った。
• グラフアテンション層を標準的GCN（SPGCN）に置き換えると、OAは96.37%に低下し、アテンション機構が性能向上に顕著に寄与していることが示された。
• スペクトルアテンションブロックは、単純な平均化（SPGAT-Avg）と比較してOAを0.31%向上させ、選択的特徴集約の価値を裏付けた。
• インド・パインズデータセットでは、SPGATは96.75%のOAを達成し、SSLSTMやLBMSELMを含むすべての比較手法を上回った。
• ケネディ宇宙センター・データセットでは、SPGATは98.15%のOAを達成し、SSLSTM（97.89%）や他のグラフベース手法を上回った。
• ケネディ宇宙センター・データセットでは、SPGATは最高のカッパ係数（97.84）を記録し、複数のデータセットにわたる頑健さと一貫性を確認した。