[論文レビュー] SPECIAL: Zero-shot Hyperspectral Image Classification With CLIP

Pang Li, Jing Yao+4 more|ArXiv.org|Jan 27, 2025

Remote-Sensing Image Classification被引用数 9

ひとこと要約

SPECIALは、CLIPに基づくゼロショット超スペクトル画像分類フレームワークを導入し、解像度スケーリング戦略を用いたCLIPベースの疑似ラベル生成と、スペクトル情報とGMMベースのラベルリファインメントを用いたノイズラベル学習段階から成る。

ABSTRACT

Hyperspectral image (HSI) classification aims to categorize each pixel in an HSI into a specific land cover class, which is crucial for applications such as remote sensing, environmental monitoring, and agriculture. Although deep learning-based HSI classification methods have achieved significant advancements, existing methods still rely on manually labeled data for training, which is both time-consuming and labor-intensive. To address this limitation, we introduce a novel zero-shot hyperspectral image classification framework based on CLIP (SPECIAL), aiming to eliminate the need for manual annotations. The SPECIAL framework consists of two main stages: (1) CLIP-based pseudo-label generation, and (2) noisy label learning. In the first stage, HSI is spectrally interpolated to produce RGB bands. These bands are subsequently classified using CLIP, resulting in noisy pseudo-labels that are accompanied by confidence scores. To improve the quality of these labels, we propose a scaling strategy that fuses predictions from multiple spatial scales. In the second stage, spectral information and a label refinement technique are incorporated to mitigate label noise and further enhance classification accuracy. Experimental results on three benchmark datasets demonstrate that our SPECIAL outperforms existing methods in zero-shot HSI classification, showing its potential for more practical applications. The code is available at https://github.com/LiPang/SPECIAL.

研究の動機と目的

• 手作業での注釈データへの依存を減らすために、ゼロショットの超スペクトル画像分類の動機付け。
• スペクトルデータからRGBバンドをシミュレートしてHSIの疑似ラベルを生成するためにCLIPを活用する。
• 疑似ラベルのノイズを低減し精度を向上させるために、スペクトル情報と頑健なラベルのリファインメントを組み込む。
• 複数の超スペクトルデータセットにおいて、既存のCLIPベース手法より優れていることを示す。

提案手法

• HSIをスペクトル補間してRGBバンドに変換し、CLIPベースの分類を可能にし、信頼度スコア付きの疑似ラベルを得る。
• 解像度スケーリング（RS）戦略を適用して、異なるサイズの物体に対処するために複数の画像スケールからの予測を統合する。
• CLIP priors に導かれたクラスバランスサンプリングを伴うウォームアップフェーズで、スペクトルベースの訓練のためにハイパースペクトル分類器（MambaHSI）を使用する。
• Gaussian Mixture ModelsとBvSBベースのスコアリングを用いて予測サンプルを自信のあるセットと難しいセットに分割し、クラス固有のGMMを用いてソフトラベルを生成する。
• ランダム、自信のある、難しいセット上のクロスエントロピーとソフトラベルを組み合わせた複合損失を最適化して訓練を洗練させる。
• PCAで次元削減したスペクトル特徴をGMMベースのソフトラベル推定に組み込み、疑似ラベルと訓練データを洗練する。
• RGBベースの入力をHSIsに置換し、アブレーション実験でスペクトル情報がRGBより性能を向上させることを示す。

実験結果

リサーチクエスチョン

• RQ1 CLIPベースの疑似ラベルは、手動注釈なしでゼロショットのHSI分類に効果的に使用できるか？
• RQ2 スペクトル情報とラベルのリファインメントを組み込むことで、CLIPベースの疑似ラベルだけよりゼロショットHSIの精度が向上するか？
• RQ3 CLIPベースのHSI分類における、解像度スケーリングが異なるサイズの物体の処理に与える影響は？
• RQ4 提案されたラベルリファインメント戦略は、疑似ラベルのノイズをどのように低減し、訓練の安定性を向上させるか？

主な発見

• SPECIALは、3つの公開HSIデータセットで既存のCLIPベースのゼロショット手法を上回る。
• HSIを介したスペクトル情報の組み込みは、RGBのみの訓練より性能を向上させる。
• 解像度スケーリング戦略は、異なるスケールの物体の認識を一貫して改善し、疑似ラベルの品質を高める。
• GMMとソフトラベルを用いたラベルリファインメント段階は、ノイズの多い疑似ラベルの影響を低減し、総合的な精度を向上させる。
• アブレーション研究は、ランダム、自信のある、難しいの各サブセットをソフトラベルと組み合わせると、データセット全体で最良の性能を得られることを示している。