[論文レビュー] Convolutional Neural Networks and Data Augmentation for Spectral-Spatial Classification of Hyperspectral Images.

Jacopo Acquarelli, Elena Marchiori+3 more|arXiv (Cornell University)|Nov 15, 2017

Remote-Sensing Image Classification被引用数 10

ひとこと要約

本論文は、新規のデータ拡張戦略と特化した損失関数を用いて強化された単層畳み込みニューラルネットワークを用いて、スペクトル・スパティアル分類のための手法を提案する。この損失関数は、近接するスペクトルバンド間の類似性を強制する。1クラスあたり1%のラベル付き画素のみを用いても、5つのベンチマークデータセットで99.5%の正確性を達成し、低ショットおよび教師あり設定において、既存のベースラインを著しく上回る。

ABSTRACT

Spectral-spatial classification of remotely sensed hyperspectral images has been the subject of many studies in recent years. Current methods achieve excellent performance on benchmark hyperspectral image labeling tasks when a sufficient number of labeled pixels is available. However, in the presence of only very few labeled pixels, such classification becomes a challenging problem. In this paper we propose to tackle this problem using convolutional neural networks (CNNs) and data augmentation. Our newly developed method relies on the assumption of spectral-spatial locality: nearby pixels in a hyperspectral image are related, in the sense that their spectra and their labels are likely to be similar. We exploit this assumption to develop 1) a new data augmentation procedure which adds new samples to the train set and 2) a tailored loss function which penalize differences among weights of the network corresponding to nearby wavelengths of the spectra. We train a simple single layer convolutional neural network with this loss function and augmented train set and use it to classify all unlabeled pixels of the given image. To assess the efficacy of our method, we used five publicly available hyperspectral images: Pavia Center, Pavia University, KSC, Indian Pines and Salina. On these images our method significantly outperforms other baselines. Notably, with just 1% of labeled pixels per class, on these dataset our method achieves an accuracy of 99.5%, etc. Furthermore we show that our method improves over other baselines also in a supervised setting, when no overlap between train and test pixels is allowed. Overall our investigation demonstrates that spectral-spatial locality can be easily embedded in a simple convolutional neural network through data augmentation and a tailored loss function.

研究の動機と目的

• 非常に少数のラベル付き画素しか利用できない状況におけるハイパースペクトル画像分類の課題に対処すること。
• 近接する画素が類似したスペクトルとラベルを持つという仮定（スペクトル・スパティアル局所性）を活用し、学習効率を向上させること。
• 限られたラベル付きデータセットを拡張するために、現実的で空間的に一貫性のあるトレーニングサンプルを生成するデータ拡張技術を開発すること。
• 隣接するスペクトルバンド間の重み差を明示的にペナルティ化するように設計された損失関数を考案し、スペクトルの滑らかさを強制すること。
• 複数のベンチマークハイパースペクトルデータセットにおいて、低ショットおよび通常の教師あり設定の両方で最先端の性能を示すこと。

提案手法

• ハイパースペクトル画像内の近接画素間の空間的およびスペクトル的類似性を活用して、新たなトレーニングサンプルを生成するデータ拡張手順を提案する。
• 拡張されたトレーニングセットを用いて、単純な単層畳み込みニューラルネットワークを訓練し、画像内すべてのラベルなし画素を分類する。
• 隣接するスペクトルバンドに対応するネットワーク重みの大きな差をペナルティ化するように特化した損失関数を導入し、スペクトルの滑らかさを強制する。
• トレーニング中にこの損失関数を適用することで、ネットワークが隣接する波長間で一貫した表現を学習するよう促進する。
• 局所的な画像パッチから抽出したスペクトル・スパティアル特徴量を用いて、全結合層を構築し、エンド・ツー・エンド学習を可能にする。
• 深層構造を避けることで、データと損失設計によるインダクティブバイアスに焦点を当て、軽量で効率的な手法を保証する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル・スパティアル局所性は、ハイパースペクトル画像において極めて少ないラベル付きデータで分類性能を向上させるために効果的に活用可能か？
• RQ2 1つのクラスあたり少数のラベル付き画素しか利用できない状況において、提案されたデータ拡張戦略は、モデルの一般化性能をどのように向上させるか？
• RQ3 標準的な損失関数と比較して、スペクトル局所性に配慮した損失関数は、モデルのロバスト性と正確性をどの程度向上させるか？
• RQ4 トレーニング画素とテスト画素が重複しない厳密な教師あり設定においても、本手法は優れた性能を維持できるか？
• RQ5 データが限られる状況下で、適切なインダクティブバイアスを持つ単層CNNは、深層モデルを上回る性能を発揮できるか？

主な発見

• 1クラスあたり1%のラベル付き画素のみを用いても、Pavia Center、Pavia University、KSC、Indian Pines、Salinaの各データセットで、提案手法は99.5%の分類正確性を達成した。
• 本手法は、低ショット学習のシナリオにおいて既存のベースラインを著しく上回り、最小限の監視情報からの強力な一般化性能を示した。
• スペクトルの滑らかさを強制する特化した損失関数は、過学習の低減と隣接バンド間の特徴の一貫性向上により、性能の向上に寄与した。
• データ拡張戦略は、現実的で空間的に一貫性のあるサンプルを効果的にトレーニングセットに拡張し、モデルのロバスト性を向上させた。
• トレーニング画素とテスト画素が重複しない厳密な教師あり設定においても、他の最先端手法と比較して優れた正確性を達成した。
• データ拡張とスペクトル局所性に配慮した損失関数の組み合わせにより、単層CNNが、データが少ない環境下で深層モデルを模倣または上回る性能を発揮できた。