[論文レビュー] Feature Extraction and Classification Based on Spatial-Spectral ConvLSTM Neural Network for Hyperspectral Images.

Wen-Shuai Hu, Heng-Chao Li+4 more|arXiv (Cornell University)|May 9, 2019

Remote-Sensing Image ClassificationEngineering参考文献 48被引用数 19

ひとこと要約

本論文は、局所的な画像パッチとスペクトルバンドにConvLSTMを適用することで、ハイパースペクトル画像における空間的およびスペクトル的依存関係を統合的にモデル化する2次元および3次元の空間的・スペクトル的ConvLSTMニューラルネットワーク（SSCL2DNNおよびSSCL3DNN）を提案する。これらのモデルは、長距離にわたる空間的・スペクトル的特徴を効果的に捉えることで、3つのベンチマークデータセットで最先端の分類性能を達成した。

ABSTRACT

In recent years, deep learning has presented a great advance in hyperspectral image (HSI) classification. Particularly, Long Short-Term Memory (LSTM), as a special deep learning structure, has shown great ability in modeling long-term dependencies in the time dimension of video or the spectral dimension of HSIs. However, the loss of spatial information makes it quite difficult to obtain the better performance. In order to address this problem, two novel deep models are proposed to extract more discriminative spatial-spectral features by exploiting the Convolutional LSTM (ConvLSTM) for the first time. By taking the data patch in a local sliding window as the input of each memory cell band by band, the 2-D extended architecture of LSTM is considered for building the spatial-spectral ConvLSTM 2-D Neural Network (SSCL2DNN) to model long-range dependencies in the spectral domain. To take advantage of spatial and spectral information more effectively for extracting a more discriminative spatial-spectral feature representation, the spatial-spectral ConvLSTM 3-D Neural Network (SSCL3DNN) is further proposed by extending LSTM to 3-D version. The experiments, conducted on three commonly used HSI data sets, demonstrate that the proposed deep models have certain competitive advantages and can provide better classification performance than other state-of-the-art approaches.

研究の動機と目的

• 標準LSTMが順序処理による空間情報の損失を引き起こすというハイパースペクトル画像（HSI）分類における限界を是正すること。
• 空間的およびスペクトル的次元の両方における長距離依存関係を同時に捉えることができるディープラーニングアーキテクチャの開発。
• 2次元空間的畳み込みと3次元時空間的・スペクトル的モデリングをConvLSTMを用いて統合することで、特徴表現の向上。
• 提案されたモデルを標準的なHSIベンチマークデータセットで評価し、最先端の手法と性能を比較すること。

提案手法

• スペクトルバンドごとに局所的な画像パッチを処理する2次元空間的・スペクトル的ConvLSTMニューラルネットワーク（SSCL2DNN）を提案。2次元畳み込みLSTMアーキテクチャを用いてスペクトル的依存関係をモデル化する。
• 空間的およびスペクトル的次元を3次元畳み込みLSTMユニットに統合することで、2次元モデルを3次元版（SSCL3DNN）に拡張し、空間的・スペクトル的特徴の共同学習を実現。
• 各メモリセルへの入力として、局所的なスライディングウィンドウを用いて画像パッチを抽出し、スペクトル系列のモデリング中に空間的文脈を保持する。
• ハイパースペクトルデータから階層的な空間的・スペクトル的特徴を抽出するために、LSTMセル内に2次元および3次元畳み込み演算を適用。
• 分類のためのネットワークパラメータ最適化を目的として、標準的なバックプロパゲーションを用いたエンドツーエンド学習を実装。
• 教師あり分類学習のため、標準的なディープラーニング損失関数（例：交差エントロピー）を採用。

実験結果

リサーチクエスチョン

• RQ1 2次元ConvLSTMアーキテクチャは、ハイパースペクトル画像において空間的文脈を保持しつつ、スペクトル的依存関係を効果的にモデル化できるか？
• RQ2 ConvLSTMを3次元に拡張することで、2次元手法と比較して、空間的・スペクトル的特徴の統合表現が向上するか？
• RQ3 提案されたSSCL2DNNおよびSSCL3DNNは、標準的なHSIベンチマークにおいて、既存の最先端手法と比較して分類精度で優れているか？
• RQ4 提案されたモデルは、標準LSTMベースのHSI分類器で一般的に見られる空間情報の損失をどの程度軽減できるか？

主な発見

• 提案されたSSCL3DNNモデルは、一般的に使用される3つのハイパースペクトル画像データセットにおいて、他の最先端手法と比較して優れた分類性能を達成した。
• SSCL2DNNモデルは、2次元ConvLSTMアーキテクチャを用いて長距離スペクトル的依存関係を効果的にモデル化することで、特徴抽出が向上した。
• 3次元ConvLSTMフレームワークにおける空間的およびスペクトル的モデリングの統合により、分離した空間的およびスペクトル的処理よりもより判別力のある特徴表現が得られた。
• 両モデルとも、特に複雑なスペクトル変動に対処する能力を高める点で、標準LSTMや他のディープラーニングベースラインを上回る総合的な分類精度を示した。
• 実験により、提案アーキテクチャが多様なハイパースペクトルデータセットに対して頑健であることが確認され、優れた一般化能力を示した。
• 結果から、3次元ConvLSTMを用いて空間的およびスペクトル的特徴を統合的にモデリングすることで、空間的およびスペクトル的次元を逐次的または独立して処理するのと比較して、より高い性能が得られることが示された。