[論文レビュー] Multiscale Convolutional Transformer with Center Mask Pretraining for Hyperspectral Image Classification

Sen Jia, Yifan Wang|arXiv (Cornell University)|Mar 9, 2022

Remote-Sensing Image Classification被引用数 8

ひとこと要約

本稿では、ハイパースペクトル画像（HSI）分類のためのマルチスケール畳み込み型トランスフォーマーバックボーンと、新規のセンター・マスク事前学習戦略を提案する。中央ピクセルのトークンのみをマスクし、そのスペクトルを再構築することで、局所的・グローバル特徴の学習を強化し、性能を向上させた。Salinasデータセットでは92.04%の全体精度を達成し、最先端手法を最大2.14%上回った。

ABSTRACT

Hyperspectral images (HSI) not only have a broad macroscopic field of view but also contain rich spectral information, and the types of surface objects can be identified through spectral information, which is one of the main applications in hyperspectral image related research.In recent years, more and more deep learning methods have been proposed, among which convolutional neural networks (CNN) are the most influential. However, CNN-based methods are difficult to capture long-range dependencies, and also require a large amount of labeled data for model training.Besides, most of the self-supervised training methods in the field of HSI classification are based on the reconstruction of input samples, and it is difficult to achieve effective use of unlabeled samples. To address the shortcomings of CNN networks, we propose a noval multi-scale convolutional embedding module for HSI to realize effective extraction of spatial-spectral information, which can be better combined with Transformer network.In order to make more efficient use of unlabeled data, we propose a new self-supervised pretask. Similar to Mask autoencoder, but our pre-training method only masks the corresponding token of the central pixel in the encoder, and inputs the remaining token into the decoder to reconstruct the spectral information of the central pixel.Such a pretask can better model the relationship between the central feature and the domain feature, and obtain more stable training results.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）が長距離相関を捉えきれないこと、およびラベル付きHSIデータの不足という課題に対処する。
• 既存の自己教師付き事前学習手法の不安定さと非効率性を克服し、より効果的な事前学習のためのプロムプトタスクを設計する。
• ハイパースペクトルデータに特化したマルチスケール畳み込み埋め込みモジュールを用いて、空間的・スペクトル的特徴抽出を向上させる。
• 新規のセンター・マスク再構築事前学習戦略を用いて、ラベル付きデータが少ない状況でもモデルの汎化性能と性能を向上させる。

提案手法

• 3次元畳み込みとスペクトルセグメンテーションを用いて、複数スケールで空間的・スペクトル的特徴を抽出するマルチスケール畳み込み埋め込み（MCE）モジュールを導入する。
• 中央ピクセルのトークンのみをマスクし、周囲の特徴からそのスペクトルを再構築する、センター・マスク事前学習（CMR）タスクを設計する。
• MCEモジュールと標準的なトランスフォーマーエンコーダーを組み合わせ、空間的およびスペクトル的次元における長距離依存関係をモデル化する。
• 中央ピクセルのスペクトルを再構築することに焦点を当てた、マスクドオートエンコーダー風の目的関数を用い、特徴表現と学習の安定性を向上させる。
• 微調整段階では、ラベル付きサンプルを少量のみ用いて、下流のHSI分類タスクに事前学習済みモデルを適用する。
• 入力のハイパースペクトルキューブにスペクトルセグメンテーションを適用し、効率的な線形埋め込みを実現するとともに、スペクトル情報を保持する。

実験結果

リサーチクエスチョン

• RQ1 中央ピクセルの再構築に基づく自己教師付き事前学習戦略は、ハイパースペクトル画像分類における特徴学習を向上させることができるか？
• RQ2 標準的な線形埋め込みと比較して、マルチスケール畳み込み埋め込みモジュールは空間的・スペクトル的表現学習をどのように向上させるか？
• RQ3 標準的な再構築または対照的事前学習と比較して、提案されたセンター・マスク事前学習戦略は、安定性と精度の面で優れているか？
• RQ4 限られたラベル付きデータのもとで、提案手法は低ショット学習状況における性能のばらつきをどの程度低減できるか？

主な発見

• 提案手法はSalinasデータセットで92.04%の全体精度を達成し、2番目に優れた手法（CNNHSI、89.90%）を2.14ポイント上回った。
• YREデータセットでは90.72%の全体精度を達成し、ベースラインモデル（86.24%）を4.48ポイント上回った。
• アブレーションスタディの結果、MCEモジュール内のIIEブランチの導入により、Salinasで0.47%、YREで2.12%の精度向上が確認された。
• センター・マスク戦略による事前学習は、学習から再初期化した場合と比較して、Salinasで2.97%、YREで2.20%の性能向上を示した。
• 事前学習戦略は頑健であった。IIEブランチを含むバックボーンであっても、含まないバックボーンであっても、微調整により競争力のある結果が得られた。
• 可視化結果から、提案手法は真値とよく一致する分類マップを生成しており、比較モデルと比較して誤分類が少ないことが示された。