[論文レビュー] Generative Adversarial Networks and Probabilistic Graph Models for Hyperspectral Image Classification

Zilong Zhong, Jonathan Li|arXiv (Cornell University)|Feb 10, 2018

Remote-Sensing Image Classification参考文献 4被引用数 6

ひとこと要約

本稿では、スペクトル-空間的生成対抗ネットワーク（GANs）と条件付きランダムフィールド（CRFs）を組み合わせた新規フレームワークを、高スペクトル画像分類に提案する。スペクトル-空間的GANを用いて特徴を抽出し、未ラベルデータを活用して予測を精緻化するCRFを適用することで、2つのベンチマークデータセットにおいて1クラスあたり10ラベル付きサンプルのみで最先端の精度を達成した。

ABSTRACT

High spectral dimensionality and the shortage of annotations make hyperspectral image (HSI) classification a challenging problem. Recent studies suggest that convolutional neural networks can learn discriminative spatial features, which play a paramount role in HSI interpretation. However, most of these methods ignore the distinctive spectral-spatial characteristic of hyperspectral data. In addition, a large amount of unlabeled data remains an unexploited gold mine for efficient data use. Therefore, we proposed an integration of generative adversarial networks (GANs) and probabilistic graphical models for HSI classification. Specifically, we used a spectral-spatial generator and a discriminator to identify land cover categories of hyperspectral cubes. Moreover, to take advantage of a large amount of unlabeled data, we adopted a conditional random field to refine the preliminary classification results generated by GANs. Experimental results obtained using two commonly studied datasets demonstrate that the proposed framework achieved encouraging classification accuracy using a small number of data for training.

研究の動機と目的

• 高スペクトル次元と限られたラベル付きデータという条件下での高スペクトル画像（HSI）分類の課題に対処する。
• 生成的対抗ネットワーク（GANs）を統合し、スペクトルおよび空間的特徴を活用して特徴学習を向上させる。
• 豊富な未ラベルHSIデータを条件付きランダムフィールド（CRFs）を通じて活用し、分類のロバスト性を向上させる。
• 深層生成モデリングと確率的グラフィカルモデルを統合した半教師あり学習フレームワークを構築し、最小限の監督下でも性能を向上させる。

提案手法

• 高スペクトルキューブ内のスペクトルと空間的特徴を同時にモデル化できるスペクトル-空間的畳み込み層を、GANの生成器およびディスクリミネータに導入する。
• 教師あり損失（L₁）、本物/偽物分類のための非教師あり損失（L₂）、および生成器トレーニングのための非教師あり損失（L₃）を組み合わせた半教師ありGAN損失関数を設計する。
• 画素単位の予測を空間的およびスペクトル的相関を活用して精緻化するため、全結合型条件付きランダムフィールド（CRF）を後処理として適用する。
• CRFエネルギー関数を単一項およびペアワイズ項で定式化し、ペアワイズポテンシャルに隣接画素間の空間的およびスペクトル的類似度を組み込む。
• 生成器ではleaky ReLU、ディスクリミネータではReLU活性化関数を用い、特徴生成には逆畳み込みを適用する。
• 標準的な勾配降下法の不安定性を回避するため、モデル最適化に基づくトレーニングを用いてGANを最適化する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータで、スペクトル-空間的GANが高スペクトル画像から判別性の高い特徴を効果的に学習できるか？
• RQ2 条件付きランダムフィールド（CRF）の統合により、未ラベルデータを活用することで分類精度がどのように向上するか？
• RQ3 半教師あり設定下におけるスペクトル、空間、およびスペクトル-空間の統合特徴の相対的寄与度は何か？
• RQ4 提案フレームワークは、標準的なHSIベンチマークデータセットにおいて、既存のCNNベースおよびGANベースの手法を上回る性能を示すか？

主な発見

• インド・パインズデータセットにおいて、SS-GANにCRFを組み合わせた場合、84.18%の最高全体精度（OA）を達成し、他のGANバージョンを上回った。
• CRFを適用しない場合でも、SS-GANはインド・パインズで80.88%のOAを達成し、スペクトルのみ（63.74%）や空間のみ（36.46%）のGANと比べ顕著に優れた性能を示した。
• パビア大学データセットでは、SS-GANにCRFを適用した場合、83.66%のOAを達成し、次に優れた手法（SPC-GANで73.39%）を上回った。
• CRF後処理は、すべてのGANアーキテクチャにおいて一貫して分類精度を向上させたが、空間のみのGANを除き、わずかな向上にとどまった。
• 本手法は1クラスあたり10ラベル付きサンプルでのみトレーニングしたにもかかわらず、低ショット学習下で強力な一般化性能を示した。
• GANとCRFの統合により未ラベルデータを効果的に活用でき、深層生成モデリングと確率的グラフィカルモデルの相乗効果が高スペクトル画像分類において有効であることが裏付けられた。