[論文レビュー] Hyperspectral Image Classification with Attention Aided CNNs

Renlong Hang, Zhu Li+3 more|arXiv (Cornell University)|May 25, 2020

Remote-Sensing Image Classification参考文献 45被引用数 11

ひとこと要約

本論文は、分光的および空間的アテンションモジュールを統合することで特徴抽出を強化する、注意機構を支援するCNNモデルを提案する。特徴抽出において、判別性の高い分光バンドと空間的領域を動的に重み付けすることで、3つのベンチマークデータセットで最先端の性能を達成し、高い精度と良好な計算コスト・パフォーマンスのトレードオフを実現した。

ABSTRACT

Convolutional neural networks (CNNs) have been widely used for hyperspectral image classification. As a common process, small cubes are firstly cropped from the hyperspectral image and then fed into CNNs to extract spectral and spatial features. It is well known that different spectral bands and spatial positions in the cubes have different discriminative abilities. If fully explored, this prior information will help improve the learning capacity of CNNs. Along this direction, we propose an attention aided CNN model for spectral-spatial classification of hyperspectral images. Specifically, a spectral attention sub-network and a spatial attention sub-network are proposed for spectral and spatial classification, respectively. Both of them are based on the traditional CNN model, and incorporate attention modules to aid networks focus on more discriminative channels or positions. In the final classification phase, the spectral classification result and the spatial classification result are combined together via an adaptively weighted summation method. To evaluate the effectiveness of the proposed model, we conduct experiments on three standard hyperspectral datasets. The experimental results show that the proposed model can achieve superior performance compared to several state-of-the-art CNN-related models.

研究の動機と目的

• 分光変動やクラス間の類似性によって引き起こされる分光画像の誤分類の課題に対処すること。
• 統合的なディープラーニングフレームワークを用いて分光的および空間的情報を活用することで、特徴表現を向上させること。
• 情報性の高い分光バンドと空間的位置を優先するアテンション機構を組み込むことで、CNNの学習能力を向上させること。
• 高い分類精度と効率的な計算を両立するモデルを開発し、3D-CNNの高コストを回避すること。
• 標準的な分光画像データセットを用いた比較実験を通じて、分光的および空間的アテンションモジュールの有効性を検証すること。

提案手法

• 分光的アテンションサブネットワークを提案し、畳み込み層を用いてチャネルごとのアテンション重みを学習し、より判別性の高い分光バンドに焦点を当てる。
• 空間的アテンションサブネットワークを設計し、畳み込み層を用いて空間的アテンションマップを生成し、局所的なパッチ内の関連する空間的領域を強調する。
• 分光的および空間的特徴を、動的かつ適応的な重み付け融合戦略によって統合し、両サブネットワークからの予測を統合的に組み合わせる。
• 各画素の周囲のクロップされた分光画像キューブから分光的および空間的特徴を抽出するために、2Dおよび3Dの畳み込みカーネルを用いる。
• エンドツーエンドの学習を採用し、アテンションモジュールと分類ヘッドを同時に最適化することで、データ駆動型の特徴選択を可能にする。
• アテンションガイドドの特徴精錬の後、グローバル平均プーリングと全結合層を用いて最終的な分類を実行する。

実験結果

リサーチクエスチョン

• RQ1 分光的アテンション機構は、分光画像分類におけるCNNの判別力を向上させることができるか？
• RQ2 空間的アテンション機構は、局所的な画像パッチ内の関連する空間的パターンを捉える能力を向上させることができるか？
• RQ3 注意機構を支援する分光的および空間的特徴の統合は、標準的なCNNと比較して優れた分類性能をもたらすか？
• RQ4 提案モデルは、分光画像データセットにおいて、最先端の2Dおよび3D-CNNモデルと比較して、精度と計算効率の両面で優れているか？
• RQ5 適応的融合戦略は、補完的な分光的および空間的情報を効果的に統合し、一般化性能の向上に寄与するか？

主な発見

• 提案されたSSAttモデルは、すべての3つのベンチマークデータセット（Houston 2013、Houston 2018、HyRANK）において、最高の全体精度（OA）、平均精度（AA）、カッパ係数、F1スコアを達成した。
• 分光的アテンションサブネットワーク単体でも、ベースラインCNNを上回る分類性能を示し、情報性の高い分光バンドに焦点を当てる価値を実証した。
• 空間的アテンションサブネットワークは、関連する空間的領域を強調することで特徴抽出を向上させ、ノイズや不必要な文脈を低減した。
• 適応的融合を組み込んだ統合モデルは、個別のサブネットワークおよびすべての比較対象の最先端モデル（3DCNN、SSRN、MSDNSA）を上回る性能を示した。
• 優れた精度を達成したにもかかわらず、SSAttモデルは3D-CNNベースのモデルと比較して著しく短い訓練時間を要した—例として、Houston 2013では3D-CNNに比べて10％未満の時間で学習完了した。
• モデルは性能と計算コストの良好なバランスを実現しており、すべてのデータセットでSSRNを精度および訓練効率の両面で上回った。