[論文レビュー] HSI-CNN: A Novel Convolution Neural Network for Hyperspectral Image

Yanan Luo, Jie Zou+3 more|arXiv (Cornell University)|Feb 28, 2018

Remote-Sensing Image ClassificationEngineering参考文献 26被引用数 16

ひとこと要約

本稿では、標高スペクトル特徴と空間特徴を効果的に抽出する新しい3次元畳み込みニューラルネットワークフレームワーク、HSI-CNNを提案する。本手法は、標的ピクセルとその周囲のピクセルから1次元の特徴マップを生成し、それを2次元行列に積み重ねて標準的なCNN処理に適用する。本手法は、KSC、IP、PU、SAデータセットにおいて、それぞれ99.28%、99.09%、99.42%、98.95%の最先端の分類精度を達成し、限られた訓練サンプル下でも優れた性能を示している。

ABSTRACT

With the development of deep learning, the performance of hyperspectral image (HSI) classification has been greatly improved in recent years. The shortage of training samples has become a bottleneck for further improvement of performance. In this paper, we propose a novel convolutional neural network framework for the characteristics of hyperspectral image data, called HSI-CNN. Firstly, the spectral-spatial feature is extracted from a target pixel and its neighbors. Then, a number of one-dimensional feature maps, obtained by convolution operation on spectral-spatial features, are stacked into a two-dimensional matrix. Finally, the two-dimensional matrix considered as an image is fed into standard CNN. This is why we call it HSI-CNN. In addition, we also implements two depth network classification models, called HSI-CNN+XGBoost and HSI-CapsNet, in order to compare the performance of our framework. Experiments show that the performance of hyperspectral image classification is improved efficiently with HSI-CNN framework. We evaluate the model's performance using four popular HSI datasets, which are the Kennedy Space Center (KSC), Indian Pines (IP), Pavia University scene (PU) and Salinas scene (SA). As far as we concerned, HSI-CNN has got the state-of-art accuracy among all methods we have known on these datasets of 99.28%, 99.09%, 99.42%, 98.95% separately.

研究の動機と目的

• ハイパースペクトル画像（HSI）分類における限られた訓練サンプルの課題に対処すること。
• HSIデータの特徴的なスペクトル-空間特性に特化したディーブラーニングフレームワークの開発。
• HSIにおけるスペクトル情報と空間情報を効果的に活用することで、分類精度の向上を図ること。
• 標準的なHSIベンチマーク上で、提案されたHSI-CNNフレームワークを既存モデルと比較して評価すること。
• XGBoostとCapsNetを用いた拡張手法を検討し、性能比較分析を行うこと。

提案手法

• 局所的な空間的およびスペクトル的パターンを用いて、中心ピクセルとその周囲の近隣ピクセルからスペクトル-空間特徴を抽出する。
• 抽出されたスペクトル-空間特徴に対して1次元畳み込み演算を適用し、複数の1次元特徴マップを生成する。
• 1次元特徴マップを2次元行列に積み重ね、標準的な2次元CNNの入力として扱う疑似画像とみなす。
• 標準的な畳み込みニューラルネットワーク層を用いて、2次元行列から階層的な空間的およびスペクトル的表現を学習する。
• 比較評価のための2つの変種モデル（HSI-CNN+XGBoostおよびHSI-CapsNet）を実装する。
• 4つのベンチマークHSIデータセット上で、標準的な誤差逆伝播法と交差エントロピー損失を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 限られた訓練サンプル下のハイパースペクトル画像分類において、ハイブリッドなスペクトル-空間特徴抽出戦略は分類精度の向上に寄与するか？
• RQ2 1次元スペクトル-空間特徴を2次元行列に変換することで、直接的な3次元または2次元処理と比較してCNNの学習がどのように向上するか？
• RQ3 標準的なHSIベンチマーク上での、HSI-CNNの既存の最先端手法に対する性能向上は何か？
• RQ4 追加のモデル、HSI-CNN+XGBoostおよびHSI-CapsNetは、精度と頑健性の観点でどのように比較されるか？
• RQ5 提案されたフレームワークは、空間的およびスペクトル的特性が異なる多様なHSIデータセットに対しても高い性能を維持するか？

主な発見

• HSI-CNNは、ケネディ宇宙センター（KSC）データセットで99.28%の分類精度を達成し、既存手法を上回っている。
• インド・パインズ（IP）データセットでは、99.09%の精度を達成しており、限られたサンプル下でも優れた一般化性能を示している。
• パビア大学（PU）シーンでは99.42%の精度に達しており、都市環境における高い有効性を示している。
• サリナス（SA）シーンでは98.95%の精度を達成しており、多様な土地被覆タイプにわたる頑健性を確認している。
• 本フレームワークは、4つのベンチマークデータセットすべてでベースラインモデルおよび確立された最先端手法を一貫して上回っている。
• アブレーションスタディの結果、1次元スペクトル-空間特徴の2次元行列への変換が、特徴表現および分類性能を顕著に向上させていることが確認された。