[論文レビュー] Shorten Spatial-spectral RNN with Parallel-GRU for Hyperspectral Image Classification

Haowen Luo|arXiv (Cornell University)|Oct 30, 2018

Remote-Sensing Image Classification被引用数 15

ひとこと要約

本稿では、短縮された空間的・スペクトル的RNNと並列ゲート付き再帰型ユニット（並列-GRU）アーキテクチャを組み合わせた、ハイパースペクトル画像分類のための新しい深層学習モデルSt-SS-pGRUを提案する。系列長の短縮と空間特徴抽出のための畳み込み層の統合により、標準的なRNNやGRUよりも高い精度と高速な学習を達成し、パビア大学データセットで全体精度99.01%を達成するとともに、分散の低減により高いロバスト性を示した。

ABSTRACT

Convolutional neural networks (CNNs) attained a good performance in hyperspectral sensing image (HSI) classification, but CNNs consider spectra as orderless vectors. Therefore, considering the spectra as sequences, recurrent neural networks (RNNs) have been applied in HSI classification, for RNNs is skilled at dealing with sequential data. However, for a long-sequence task, RNNs is difficult for training and not as effective as we expected. Besides, spatial contextual features are not considered in RNNs. In this study, we propose a Shorten Spatial-spectral RNN with Parallel-GRU (St-SS-pGRU) for HSI classification. A shorten RNN is more efficient and easier for training than band-by-band RNN. By combining converlusion layer, the St-SSpGRU model considers not only spectral but also spatial feature, which results in a better performance. An architecture named parallel-GRU is also proposed and applied in St-SS-pGRU. With this architecture, the model gets a better performance and is more robust.

研究の動機と目的

• 従来のRNNがハイパースペクトル画像（HSI）分類において示す、学習が遅く、長大なスペクトル系列で性能が劣るという限界を是正すること。
• CNNのスペクトル順序不感度を解消するため、RNNを用いてスペクトルを逐次的データとしてモデル化すること。
• 系列長の短縮を図る新しい短縮RNN構造を導入することで、学習効率の向上と一般化性能の向上を図ること。
• 複数のスペクトルセグメントを同時に処理する新しい並列-GRUアーキテクチャを導入することで、特徴表現の向上とモデルのロバスト性・性能の向上を図ること。
• 畳み込み層を用いて空間的文脈を統合し、HSI分類におけるスペクトル的・空間的特徴の共同学習を可能にすること。

提案手法

• スペクトルバンドをグループ化することで時間ステップ数を削減する短縮RNNを設計し、学習の高速化と消失勾配問題の緩和を図る。
• 畳み込み層をRNNの前にスタックして局所的な空間的特徴を抽出した空間的・スペクトル的RNNアーキテクチャを構築し、その後にGRUを用いて逐次的モデリングを行う。
• 並列-GRUアーキテクチャは入力系列を複数の並列ブランチに分割し、それぞれを独立にGRUで処理した後、出力を連結することで特徴表現の向上とモデルのロバスト性を向上させる。
• 更新ゲートとリセットゲートを備えたGRUベースの再帰ユニットを用い、スペクトルバンド間で情報を選択的に保持または忘却する。
• 最終的な分類層は、最終隠れ状態から土地被覆クラスを予測するため、ソフトマックス活性化関数を用いた全結合層を採用する。
• ネットワーク全体を確率的勾配降下法を用いてクロスエントロピー損失関数でエンドツーエンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 バンド単位のRNNと比較して、短縮されたRNNアーキテクチャはハイパースペクトル画像分類における学習効率と性能を向上させることができるか？
• RQ2 RNNフレームワークに畳み込み層を統合することで、HSI分類における空間的・スペクトル的特徴の学習が向上するか？
• RQ3 提案された並列-GRUアーキテクチャは、標準的なGRUと比較して、HSIデータセットにおける精度とロバスト性で優れているか？
• RQ4 特に収束速度と一般化性能の観点から、GRUはLSTMを上回ることができるか？
• RQ5 提案されたSt-SS-pGRUモデルは、複数回の学習実行にわたる分散をどの程度低減し、安定性を向上させることができるか？

主な発見

• St-SS-pGRUモデルはパビア大学データセットで全体精度99.01%を達成し、標準GRU（87.79%）やLSTM（84.68%）を大きく上回った。
• インド・パインズデータセットでは、St-SS-pGRUは全体精度89.61%を達成し、St-SS-GRU（3.19%上回り）、標準GRU（12.6%上回り）を上回った。
• St-SS-pGRUモデルは、パビア大学で標準偏差0.26%、インド・パインズで0.86%を示し、学習実行にわたるロバスト性と安定性の高さを示した。
• パビア大学ではSt-GRUの学習時間がたった7.31秒にまで短縮され、インド・パインズでは7.63秒にまで短縮され、標準GRU（それぞれ232.15秒および442.67秒）に比べて顕著な改善が見られた。
• St-SS-pGRUモデルはSt-SS-GRUおよびSt-GRUを上回る高い精度を達成しており、並列-GRUアーキテクチャが特徴表現の向上に有効であることを確認した。
• GRUは精度と収束速度の両面でLSTMを上回り、実験ではLSTMが信頼性のある収束を示さなかった。