[论文解读] Deep Hyperspectral Unmixing using Transformer Network

Preetam Ghosh, Swalpa Kumar Roy+3 more|arXiv (Cornell University)|Mar 31, 2022

Remote-Sensing Image Classification被引用 4

一句话总结

本文提出了一种新颖的深度高光谱解混模型，结合卷积自编码器与基于Transformer的编码器，以捕捉长程光谱依赖关系，显著提升了端元估计和丰度图的准确性。该方法在三个基准数据集上实现了最先进性能，在RMSE和光谱角距离（SAD）指标上均优于现有方法。

ABSTRACT

Currently, this paper is under review in IEEE. Transformers have intrigued the vision research community with their state-of-the-art performance in natural language processing. With their superior performance, transformers have found their way in the field of hyperspectral image classification and achieved promising results. In this article, we harness the power of transformers to conquer the task of hyperspectral unmixing and propose a novel deep unmixing model with transformers. We aim to utilize the ability of transformers to better capture the global feature dependencies in order to enhance the quality of the endmember spectra and the abundance maps. The proposed model is a combination of a convolutional autoencoder and a transformer. The hyperspectral data is encoded by the convolutional encoder. The transformer captures long-range dependencies between the representations derived from the encoder. The data are reconstructed using a convolutional decoder. We applied the proposed unmixing model to three widely used unmixing datasets, i.e., Samson, Apex, and Washington DC mall and compared it with the state-of-the-art in terms of root mean squared error and spectral angle distance. The source code for the proposed model will be made publicly available at \url{https://github.com/preetam22n/DeepTrans-HSU}.

研究动机与目标

• 解决基于CNN的模型在捕捉高光谱解混中长程光谱依赖关系方面的局限性。
• 提升在高度混合的高光谱数据中端元提取与丰度图估计的准确性。
• 利用Transformer的自注意力机制建模超越局部感受野的全局特征关系。
• 开发一种统一的深度学习框架用于盲高光谱解混，联合优化端元与丰度。
• 验证模型在不同复杂度的真实世界高光谱数据集上的鲁棒性与泛化能力。

提出的方法

• 模型采用卷积编码器，从高光谱数据中提取局部空间-光谱特征。
• 应用基于Transformer的编码器，结合多头自补丁注意力机制，建模光谱波段间的长程依赖关系。
• 解码器为转置卷积网络，从潜在表示中重建高光谱数据。
• 损失函数结合数据保真度（重建误差）与几何正则化项，以强制实施非负性与丰度和为一的物理约束。
• 通过联合使用均方误差与光谱角距离作为优化目标，端到端训练模型。
• 通过网格搜索对正则化强度γ、初始学习率与权重衰减等超参数进行调优，以优化性能。

实验结果

研究问题

• RQ1 基于Transformer的架构是否能通过捕捉CNN难以实现的长程光谱依赖关系，提升高光谱解混性能？
• RQ2 在多样化的数据集上，所提模型在端元估计准确性与丰度图质量方面，相较于最先进方法表现如何？
• RQ3 关键超参数（如γ、学习率与权重衰减）对模型解混性能有何影响？
• RQ4 将VCA初始化的端元与Transformer优化机制结合，是否能实现更好的收敛性与更低的光谱角距离？
• RQ5 该模型能否在具有不同光谱混合程度与复杂度的数据集上保持良好的泛化能力？

主要发现

• 所提模型在所有三个基准数据集（Samson、Apex与Washington DC Mall）上均达到最低的RMSE与SAD值，优于现有最先进方法。
• 模型在丰度图上表现出更优的视觉一致性，对'Water'与'Road'等挑战性端元的表示最为准确。
• Transformer编码器中采用的多头自补丁注意力机制，有效捕捉了长程光谱依赖关系，从而提升了端元光谱的准确性。
• 敏感性分析表明，最优性能在γ∈[1×10⁻⁴, 1×10⁻²]范围内实现，且在端元数量较多的数据集中，较低的γ值更优。
• 最佳学习率位于0.006至0.009之间，而最优权重衰减约为3×10⁻⁵，更高值会迅速降低性能。
• 模型在所有端元上均保持一致的性能表现，避免了NMF、FCLSU与Collab等方法在特定材料上表现不佳的不一致性问题。