[論文レビュー] Unsupervised Feature Learning by Autoencoder and Prototypical Contrastive Learning for Hyperspectral Classification

Zeyu Cao, Xiaorun Li+1 more|arXiv (Cornell University)|Sep 2, 2020

Remote-Sensing Image Classification参考文献 37被引用数 9

ひとこと要約

本稿では、変分オートエンコーダー（VAE）、敵対的オートエンコーダー（AAE）、および新規の対照学習ネットワーク（ContrastNet）を組み合わせた教師なしハイパースペクトル分類手法を提案する。ラベルなしデータでより代表的な特徴を学習することを目的とし、特徴抽出と対照学習を分離することで、インド・パインズデータセットで99.46％の全体精度という最先端の性能を達成した。また、従来手法と比較して推論速度が速く、計算リソースの消費も低減された。

ABSTRACT

Unsupervised learning methods for feature extraction are becoming more and more popular. We combine the popular contrastive learning method (prototypical contrastive learning) and the classic representation learning method (autoencoder) to design an unsupervised feature learning network for hyperspectral classification. Experiments have proved that our two proposed autoencoder networks have good feature learning capabilities by themselves, and the contrastive learning network we designed can better combine the features of the two to learn more representative features. As a result, our method surpasses other comparison methods in the hyperspectral classification experiments, including some supervised methods. Moreover, our method maintains a fast feature extraction speed than baseline methods. In addition, our method reduces the requirements for huge computing resources, separates feature extraction and contrastive learning, and allows more researchers to conduct research and experiments on unsupervised contrastive learning.

研究の動機と目的

• ハイパースペクトル分類における教師あり深層学習のデータ不足と高い計算コストを解決すること。
• オートエンコーダーによる再構成と対照学習を組み合わせることで、教師なし環境における特徴表現を向上させること。
• 対照学習の計算負荷を軽減しながらも、高い分類性能を維持すること。
• 広範な研究分野への適用を想定した、効率的でスケーラブルな教師なし特徴学習を可能とすること。

提案手法

• 入力スペクトルおよび空間的特徴の再構成に焦点を当てた、教師なし特徴抽出のための2種類のオートエンコーダー変種（VAEおよびAAE）を提案する。
• 同じサンプルの増幅版（ポジティブペア）と異なるサンプル（ネガティブペア）を対比することで、判別性の高い特徴を学習するContrastNetを設計する。
• データ増強を用いて、1つの入力からポジティブペアを生成することで、ラベルなしの自己教師付き対照学習を実現する。
• オートエンコーダーとContrastNetの訓練を分離し、推論時にはエンコーダーのみを用いることで、効率的な特徴抽出を可能にする。
• 埋め込み空間におけるクラス間分離性の最大化とクラス内凝集性の向上を目的としたプロトタイプ型対照損失を採用する。
• オートエンコーダーのエンコーダーに1次元および2次元畳み込みを適用することで、スペクトル的および空間的特徴の学習を統合する。

実験結果

リサーチクエスチョン

• RQ1 オートエンコーダーに基づく表現学習と対照学習を組み合わせることで、従来手法を上回る教師なしハイパースペクトル分類性能が達成可能か？
• RQ2 単独のオートエンコーダー（VAE、AAE）と比較して、提案されたContrastNetは特徴の判別性および分類精度において優れているか？
• RQ3 オートエンコーダーと対照ネットワークの訓練を分離することで、計算コストを低減しつつ性能を維持できるか？
• RQ4 クラス不均衡なデータ条件下で、本手法は教師ありおよび教師なしのベースラインと比較してどのように性能を発揮するか？

主な発見

• ContrastNetはインド・パインズデータセットで99.46％の全体精度を達成し、比較したすべての教師ありおよび教師なし手法を上回った。
• インド・パインズデータセットにおける平均精度（AA）は98.83％に達し、一部の教師ありモデルをも凌駆した。
• t-SNEを用いた特徴可視化により、ContrastNetがより凝集したクラス内クラスタと明確なクラス間分離を実現していることが確認された。
• ContrastNetの推論速度は訓練時間よりも著しく速く、インド・パインズデータセットでは特徴抽出にわずか12.77秒で完了した。これは3DCAEやEPLSを上回る速度であった。
• 共同訓練による訓練時間の延長はあったが、特徴抽出と対照学習の分離により、ハイエンド計算リソースの必要性が低減された。
• 不均衡なデータセットでも、AAE や VAE よりも高い全体精度を維持したが、平均精度はわずかに低かった。これは、クラス不均衡に対して高いロバスト性を示している。