[论文解读] Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification

Jingyi Zhou, Jiamu Sheng+5 more|arXiv (Cornell University)|Jun 15, 2023

Remote-Sensing Image Classification被引用 6

一句话总结

本文提出 Diff-HSI，一种基于去噪扩散概率模型的无监督光谱-空间特征学习框架，用于高光谱图像（HSI）分类。通过利用多时间步层次特征，结合动态特征融合模块与时间步特征库，Diff-HSI 在三个公开 HSI 数据集上实现了最先进性能，优于所有有监督与无监督方法。

ABSTRACT

The effectiveness of spectral-spatial feature learning is crucial for the hyperspectral image (HSI) classification task. Diffusion models, as a new class of groundbreaking generative models, have the ability to learn both contextual semantics and textual details from the distinct timestep dimension, enabling the modeling of complex spectral-spatial relations in HSIs. However, existing diffusion-based HSI classification methods only utilize manually selected single-timestep single-stage features, limiting the full exploration and exploitation of rich contextual semantics and textual information hidden in the diffusion model. To address this issue, we propose a novel diffusion-based feature learning framework that explores Multi-Timestep Multi-Stage Diffusion features for HSI classification for the first time, called MTMSD. Specifically, the diffusion model is first pretrained with unlabeled HSI patches to mine the connotation of unlabeled data, and then is used to extract the multi-timestep multi-stage diffusion features. To effectively and efficiently leverage multi-timestep multi-stage features,two strategies are further developed. One strategy is class & timestep-oriented multi-stage feature purification module with the inter-class and inter-timestep prior for reducing the redundancy of multi-stage features and alleviating memory constraints. The other one is selective timestep feature fusion module with the guidance of global features to adaptively select different timestep features for integrating texture and semantics. Both strategies facilitate the generality and adaptability of the MTMSD framework for diverse patterns of different HSI data. Extensive experiments are conducted on four public HSI datasets, and the results demonstrate that our method outperforms state-of-the-art methods for HSI classification, especially on the challenging Houston 2018 dataset.

研究动机与目标

• 解决有监督 HSI 分类方法对标注数据依赖过重，且在建模复杂光谱-空间关系方面表现不佳的问题。
• 克服现有无监督方法主要捕捉低层次特征、缺乏高层语义表征的缺陷。
• 利用扩散模型固有的多时间步特征层次结构，提升 HSI 中光谱-空间表征学习效果。
• 设计一种自适应机制，融合不同时间步的特征，以捕捉各去噪阶段中多样化且富有信息量的表征。
• 通过无标注数据验证基于扩散模型的无监督特征学习在 HSI 分类中的有效性。

提出的方法

• 在无标注 HSI 图块上预训练去噪扩散概率模型，以无监督方式学习丰富的光谱-空间特征。
• 通过在反向去噪过程中提取多个时间步的中间特征，构建时间步特征库。
• 设计一种动态特征融合模块，根据样本特异性相关性，自适应地选择并组合来自不同时间步的特征。
• 将融合后的多时间步表征作为输入，输入至一组线性分类器集成中，完成最终的 HSI 分类。
• 利用扩散模型的迭代去噪过程，在时间步中同时捕捉低层次细节与高层次语义。
• 在训练前通过主成分分析（PCA）降低光谱维度，最优成分数量通过经验确定。

实验结果

研究问题

• RQ1 扩散模型能否在无监督条件下有效学习用于 HSI 分类的判别性光谱-空间特征？
• RQ2 如何有效结合扩散过程中获得的多时间步特征，以提升表征学习效果？
• RQ3 与静态或人工选择的时间步相比，时间步特征的动态融合是否能带来更优的分类性能？
• RQ4 图块大小与 PCA 成分数量如何影响所提出无监督特征学习框架的性能？
• RQ5 所提方法是否能在标准 HSI 基准数据集上超越有监督与无监督的最先进方法？

主要发现

• 在 Indian Pines 数据集上，Diff-HSI 实现总体准确率（OA）99.39% 与 Kappa 系数 0.9938，优于所有对比的有监督与无监督方法。
• 动态特征融合模块实现 99.46% OA 与 0.9938 Kappa，优于人工选择的时间步如 [100,200,300]（98.81% OA）与 [100,500,900]（98.87% OA）。
• 在 Indian Pines 数据集上，最优性能对应图块大小为 48×48，实现 99.39% OA 与 99.30% AA。
• 在所有数据集中性能最佳时，PCA 成分数设为原始波段数 N 的 1/8，其中 N 为光谱波段数。
• 分类结果表明，结合早期（低 t）、中期（中 t）与晚期（高 t）时间步的表征，泛化能力优于仅使用早期或晚期时间步的表征。
• 该方法在三个多样化 HSI 数据集（Indian Pines、Pavia University 与 Houston2018）上均表现出强泛化能力，性能一致达到最先进水平。