[論文レビュー] SpectralNET: Exploring Spatial-Spectral WaveletCNN for Hyperspectral Image Classification

Tanmay Chakraborty, Utkarsh Trehan|arXiv (Cornell University)|Apr 1, 2021

Remote-Sensing Image Classification参考文献 28被引用数 41

ひとこと要約

SpectralNET は Haar ウェーブレット変換からのスペクトル特徴と空間 CNN 特徴を統合するウェーブレットベースの CNN を導入し、少ない学習データで IP、UP、SA データセットに対するハイパースペクトル画像分類の最先端性能を実現する。

ABSTRACT

Hyperspectral Image (HSI) classification using Convolutional Neural Networks (CNN) is widely found in the current literature. Approaches vary from using SVMs to 2D CNNs, 3D CNNs, 3D-2D CNNs. Besides 3D-2D CNNs and FuSENet, the other approaches do not consider both the spectral and spatial features together for HSI classification task, thereby resulting in poor performances. 3D CNNs are computationally heavy and are not widely used, while 2D CNNs do not consider multi-resolution processing of images, and only limits itself to the spatial features. Even though 3D-2D CNNs try to model the spectral and spatial features their performance seems limited when applied over multiple dataset. In this article, we propose SpectralNET, a wavelet CNN, which is a variation of 2D CNN for multi-resolution HSI classification. A wavelet CNN uses layers of wavelet transform to bring out spectral features. Computing a wavelet transform is lighter than computing 3D CNN. The spectral features extracted are then connected to the 2D CNN which bring out the spatial features, thereby creating a spatial-spectral feature vector for classification. Overall a better model is achieved that can classify multi-resolution HSI data with high accuracy. Experiments performed with SpectralNET on benchmark dataset, i.e. Indian Pines, University of Pavia, and Salinas Scenes confirm the superiority of proposed SpectralNET with respect to the state-of-the-art methods. The code is publicly available in https://github.com/tanmay-ty/SpectralNET.

研究の動機と目的

• HSI におけるスペクトル情報と空間情報を jointly モデル化するアプローチの必要性を動機づける。
• SpectralNET を提案する。これは多段 Haar ウェーブレット変換を用いた 2D-CNN を拡張し、スペクトル特徴を効率的に抽出する。
• ウェーブレットからのスペクトル特徴を空間 CNN 特徴と融合させると、標準的な HSI データセットの分類性能が向上することを示す。

提案手法

• FA（Factor Analysis）でバンドを R から B に削減して HSIs を前処理する（FA はスペクトル変動性を保持）。
• SxSxB のオーバーラップパッチを抽出する（データセットごとに S を選択：IP は 64、UP/SA は 24）。
• 複数層にわたって4つの Haar ウェーブレットのサブバンド（low/high）を適用し、マルチ解像度のスペクトル-空間特徴を生成する。
• 1x1 の射影とデンス接続を用いて特徴の流れを維持し、勾配消失を軽減する。
• グローバル平均プーリング、ドロップアウト、バッチ正規化を用いて過学習を抑制する；SGD（lr=0.01、モーメンタム=0.9）を 150 エポック実行。
• IP、UP、SA データセットで SpectralNET を訓練・評価し、SVM、2D-CNN、3D-CNN、M3D-CNN、FuSENet、HybridSN と比較する。

実験結果

リサーチクエスチョン

• RQ1 Wavelet ベースのマルチ解像度スペクトル特徴を強化した 2D-CNN は、HSI 分類における最先端のスペクトル-空間モデルを上回れるか。
• RQ2 Haar ウェーブレットのスペクトル特徴と空間 CNN 特徴を結合することで、限られた訓練データで標準的な HSI ベンチマークの精度が改善されるか。
• RQ3 SpectralNET は IP、UP、SA のようにスペクトル的・空間的特徴が異なるデータセットで、異なる訓練分割の下でどの程度安定して性能を発揮するか。
• RQ4 FA ベースの次元削減は wavelet-CNN の分類準備として PCA より好ましいか。

主な発見

Training Samples	IP OA	IP Kappa	IP AA	UP OA	UP Kappa	UP AA	SA OA	SA Kappa	SA AA
10%	98.76	98.59	98.61	99.71	99.62	99.43	99.96	99.96	99.97
30%	99.86	99.84	99.98	99.99	99.98	99.98	100	100	100

• SpectralNET は 10% および 30% の訓練分割で、IP・UP・SA の比較対象メソッドより高い精度を達成した。
• 10% の訓練時、SpectralNET は IP OA 98.76%、IP Kappa 98.59%、IP AA 98.61%；UP OA 99.71%、UP Kappa 99.62%、UP AA 99.43%；SA OA 99.96%、SA Kappa 99.96%、SA AA 99.97%。
• 30% の訓練時、SpectralNET は IP OA 99.86%、IP Kappa 99.84%、IP AA 99.98%；UP OA 99.99%、UP Kappa 99.98%、UP AA 99.98%；SA OA 100%、SA Kappa 100%、SA AA 100%。
• SpectralNET は SVM、2D-CNN、3D-CNN、M3D-CNN、FuSENet、HybridSN をすべてのデータセット・両方の訓練条件で上回る。
• ウェーブレットベースのスペクトル特徴は 3D-CNN に比べて軽量な代替を提供しつつ、競争力のあるまたは優れた精度を実現する。