[论文解读] Large-Scale Hyperspectral Image Clustering Using Contrastive Learning

Yaoming Cai, Zijia Zhang+5 more|arXiv (Cornell University)|Nov 15, 2021

Remote-Sensing Image Classification参考文献 47被引用 15

一句话总结

该论文提出了一种谱-空间对比聚类（Spectral-Spatial Contrastive Clustering, SSCC）方法，这是一种可扩展的、端到端的在线聚类框架，用于大规模高光谱图像，采用对比自监督学习。通过利用具有谱-空间增强的对称双分支网络以及与聚类数量匹配的特定聚类投影头，SSCC 联合优化了类内紧凑性和类间分离性，在三个基准数据集上实现了显著优于先前方法的最先进性能。

ABSTRACT

Clustering of hyperspectral images is a fundamental but challenging task. The recent development of hyperspectral image clustering has evolved from shallow models to deep and achieved promising results in many benchmark datasets. However, their poor scalability, robustness, and generalization ability, mainly resulting from their offline clustering scenarios, greatly limit their application to large-scale hyperspectral data. To circumvent these problems, we present a scalable deep online clustering model, named Spectral-Spatial Contrastive Clustering (SSCC), based on self-supervised learning. Specifically, we exploit a symmetric twin neural network comprised of a projection head with a dimensionality of the cluster number to conduct dual contrastive learning from a spectral-spatial augmentation pool. We define the objective function by implicitly encouraging within-cluster similarity and reducing between-cluster redundancy. The resulting approach is trained in an end-to-end fashion by batch-wise optimization, making it robust in large-scale data and resulting in good generalization ability for unseen data. Extensive experiments on three hyperspectral image benchmarks demonstrate the effectiveness of our approach and show that we advance the state-of-the-art approaches by large margins.

研究动机与目标

• 解决现有离线深度聚类模型在大规模高光谱图像上的可扩展性、鲁棒性和泛化能力局限。
• 开发一种端到端的在线聚类框架，避免表示学习与聚类之间不稳定的交替优化。
• 通过利用谱-空间数据增强的自监督对比学习，提升聚类性能。
• 在无需昂贵人工标注数据的情况下实现有效的表示学习。
• 弥合无监督与有监督 HSI 聚类方法之间的性能差距。

提出的方法

• 提出一种对称双分支神经网络，配备一个与聚类数量匹配的投影头，支持双重对比学习。
• 采用谱-空间增强池，生成对比学习的正样本对和负样本对。
• 设计一种新颖的对比目标函数，隐式最大化类内相似性并最小化类间冗余性。
• 以端到端、批量方式训练模型，支持在线聚类并可扩展至大规模数据。
• 使用主干网络（如 CNN 或 Transformer）从高光谱数据中提取高层特征。
• 应用 t-SNE 可视化学习到的潜在表示和标签表示，以分析聚类质量和判别能力。

实验结果

研究问题

• RQ1 对比自监督学习是否能在无需人工标注数据的情况下提升大规模高光谱图像的聚类性能？
• RQ2 所提出的双重对比目标如何增强类内紧凑性和类间分离性？
• RQ3 SSCC 在未见数据上的泛化能力如何？其在大规模高光谱数据集上的可扩展性如何？
• RQ4 与交替优化相比，该模型的在线端到端训练方案在稳定性和性能方面有何提升？
• RQ5 学习到的标签表示是否能在无显式正则化的情况下捕捉高层次语义差异？

主要发现

• SSCC 在三个高光谱图像基准数据集（Indian Pines、Houston 和 Salinas）上实现了最先进聚类性能，显著优于先前的 SOTA 方法。
• 标签表示的差异值在训练周期中显著增加，表明其判别能力增强，类别可分性更好。
• t-SNE 可视化显示，经过充分训练的模型学习到了比初始模型更均匀且更具判别性的潜在表示。
• 标签表示可视化揭示了稀疏且具有聚类特异性的激活模式，证明了模型学习有意义语义差异的能力。
• 得益于自监督对比学习，该模型在极少依赖手工设计特征或人工标注数据的情况下，实现了高聚类准确率。
• 消融研究证实，双重对比目标和谱-空间增强对性能提升至关重要。