[論文レビュー] Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification

Jingyi Zhou, Jiamu Sheng+5 more|arXiv (Cornell University)|Jun 15, 2023

Remote-Sensing Image Classification被引用数 6

ひとこと要約

本稿では、ノイズ除去拡散確率的モデルを用いて、教師ありのスペクトル・スパティアル特徴抽出フレームワークであるDiff-HSIを提案する。動的特徴統合モジュールとタイムステップ別特徴バンクを活用することで、複数のタイムステップにおける階層的特徴を活用し、3つの公的HSIデータセットで最先端の性能を達成した。教師ありおよび教師なしの両方の手法を上回った。

ABSTRACT

The effectiveness of spectral-spatial feature learning is crucial for the hyperspectral image (HSI) classification task. Diffusion models, as a new class of groundbreaking generative models, have the ability to learn both contextual semantics and textual details from the distinct timestep dimension, enabling the modeling of complex spectral-spatial relations in HSIs. However, existing diffusion-based HSI classification methods only utilize manually selected single-timestep single-stage features, limiting the full exploration and exploitation of rich contextual semantics and textual information hidden in the diffusion model. To address this issue, we propose a novel diffusion-based feature learning framework that explores Multi-Timestep Multi-Stage Diffusion features for HSI classification for the first time, called MTMSD. Specifically, the diffusion model is first pretrained with unlabeled HSI patches to mine the connotation of unlabeled data, and then is used to extract the multi-timestep multi-stage diffusion features. To effectively and efficiently leverage multi-timestep multi-stage features,two strategies are further developed. One strategy is class & timestep-oriented multi-stage feature purification module with the inter-class and inter-timestep prior for reducing the redundancy of multi-stage features and alleviating memory constraints. The other one is selective timestep feature fusion module with the guidance of global features to adaptively select different timestep features for integrating texture and semantics. Both strategies facilitate the generality and adaptability of the MTMSD framework for diverse patterns of different HSI data. Extensive experiments are conducted on four public HSI datasets, and the results demonstrate that our method outperforms state-of-the-art methods for HSI classification, especially on the challenging Houston 2018 dataset.

研究の動機と目的

• 教師ありHSI分類手法がラベル付きデータに大きく依存しており、複雑なスペクトル・スパティアル関係をモデル化しにくいという限界を是正すること。
• 既存の教師なし手法が主に低レベル特徴を捉え、高レベルの意味的表現を欠いているという短所を克服すること。
• 拡散モデルに内蔵された複数タイムステップ特徴階層を活用し、HSIにおけるより優れたスペクトル・スパティアル表現学習を実現すること。
• 異なるノイズ除去段階における多様で情報豊富な表現を捉えることができる、タイムステップ別特徴の適応的統合メカニズムを開発すること。
• ラベル付きデータを一切必要としない拡散モデルによる教師なし特徴学習の有効性を実証すること。

提案手法

• 未ラベルHSIパッチ上でノイズ除去拡散確率的モデルを事前学習し、教師なしで豊富なスペクトル・スパティアル特徴を学習する。
• 逆方向のノイズ除去プロセスにおいて複数のタイムステップで中間特徴を抽出することで、タイムステップ別特徴バンクを構築する。
• サンプル固有の関連性に基づいて、異なるタイムステップからの特徴を適応的に選択・統合する動的特徴統合モジュールを設計する。
• 統合された複数タイムステップ表現を、最終的なHSI分類のための線形分類器のアンサンブルの入力として使用する。
• 拡散モデルの反復的ノイズ除去プロセスを活用し、タイムステップ全体にわたって低レベルの詳細と高レベルの意味的特徴を捉える。
• 学習前にPCAを適用してスペクトル次元を低減し、最適な成分数は経験的に決定する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、教師なしの設定下で、HSI分類に有用な判別的スペクトル・スパティアル特徴を効果的に学習できるか？
• RQ2 拡散プロセスから得られる複数タイムステップ特徴を効果的に統合することで、表現学習が向上するか？
• RQ3 タイムステップ別特徴の動的統合は、固定または手動選択されたタイムステップと比較して、分類性能を向上させるか？
• RQ4 パッチサイズとPCA成分数は、提案された教師なし特徴学習フレームワークの性能にどのように影響するか？
• RQ5 提案手法は、標準的なHSIベンチマークデータセットにおいて、教師ありおよび教師なしの最先端手法を上回ることができるか？

主な発見

• Indian Pinesデータセットでは、Diff-HSIは全体精度（OA）99.39%、kappa係数0.9938を達成し、比較されたすべての教師ありおよび教師なし手法を上回った。
• 動的特徴統合モジュールは、OA 99.46%、kappa 0.9938を達成し、[100,200,300]（OA 98.81%）や[100,500,900]（OA 98.87%）といった手動選択タイムステップを上回った。
• 最適なパッチサイズは48×48であり、Indian PinesデータセットでOA 99.39%、AA 99.30%を達成した。
• すべてのデータセットで最良の性能が得られるのは、PCA成分数を元の波長数Nの1/8に設定した場合であった。
• 分類結果から、初期（低t）、中間（中t）、後期（高t）のタイムステップ特徴を組み合わせた表現が、初期または後期のみの特徴よりも一般化性能に優れていることが示された。
• 本手法は、Indian Pines、Pavia University、Houston2018という3つの多様なHSIデータセットにわたって、一貫したSOTA性能を示し、優れた一般化能力を示した。