[论文解读] Generative Adversarial Networks and Probabilistic Graph Models for Hyperspectral Image Classification

Zilong Zhong, Jonathan Li|arXiv (Cornell University)|Feb 10, 2018

Remote-Sensing Image Classification参考文献 4被引用 6

一句话总结

本文提出了一种新颖的框架，结合光谱-空间生成对抗网络（GANs）与条件随机场（CRFs），用于高光谱图像分类。通过利用光谱-空间 GAN 提取判别性特征，并利用 CRF 通过未标记数据优化预测，该方法在两个基准数据集上仅使用每类10个标记样本的情况下，实现了最先进（state-of-the-art）的分类精度。

ABSTRACT

High spectral dimensionality and the shortage of annotations make hyperspectral image (HSI) classification a challenging problem. Recent studies suggest that convolutional neural networks can learn discriminative spatial features, which play a paramount role in HSI interpretation. However, most of these methods ignore the distinctive spectral-spatial characteristic of hyperspectral data. In addition, a large amount of unlabeled data remains an unexploited gold mine for efficient data use. Therefore, we proposed an integration of generative adversarial networks (GANs) and probabilistic graphical models for HSI classification. Specifically, we used a spectral-spatial generator and a discriminator to identify land cover categories of hyperspectral cubes. Moreover, to take advantage of a large amount of unlabeled data, we adopted a conditional random field to refine the preliminary classification results generated by GANs. Experimental results obtained using two commonly studied datasets demonstrate that the proposed framework achieved encouraging classification accuracy using a small number of data for training.

研究动机与目标

• 解决在高光谱维度高且标记数据有限条件下的高光谱图像（HSI）分类挑战。
• 整合生成对抗网络（GANs），以同时利用光谱与空间特征，提升特征学习能力。
• 通过条件随机场（CRFs）利用丰富的未标记 HSI 数据，增强分类鲁棒性。
• 开发一种半监督学习框架，结合深度生成建模与概率图模型，以在最小监督下提升性能。

提出的方法

• 为 GAN 中的生成器与判别器设计一种光谱-空间卷积层，以联合建模高光谱立方体中的光谱与空间特征。
• 设计一种半监督 GAN 损失函数，结合监督损失（L₁）、真实/虚假分类的无监督损失（L₂），以及生成器训练的无监督损失（L₃）。
• 应用全连接条件随机场（CRF）作为后处理模块，利用空间与光谱相关性优化像素级预测。
• 将 CRF 能量函数表述为一元项与成对项，其中成对势能结合了邻近像素之间的空间与光谱相似性。
• 在生成器中使用 Leaky ReLU 激活函数，在判别器中使用 ReLU 激活函数，并采用转置卷积进行特征生成。
• 通过基于模型优化的训练方法优化 GAN，以改善收敛性，避免标准梯度下降中的不稳定性。

实验结果

研究问题

• RQ1 光谱-空间 GAN 是否能有效从标记数据有限的高光谱图像中学习判别性特征？
• RQ2 通过利用未标记数据，条件随机场（CRF）的集成如何提升分类精度？
• RQ3 在半监督设置下，光谱、空间以及光谱-空间联合特征在 HSI 分类中的相对贡献如何？
• RQ4 所提出的框架是否在标准 HSI 基准数据集上优于现有的基于 CNN 与 GAN 的方法？

主要发现

• 在印度松林数据集上，结合 CRF 后，光谱-空间 GAN（SS-GAN）实现了 84.18% 的最高总体精度（OA），优于其他 GAN 变体。
• 未使用 CRF 时，SS-GAN 在印度松林数据集上仍达到 80.88% 的 OA，显著优于仅使用光谱（63.74%）或仅使用空间（36.46%）特征的 GAN。
• 在帕维亚大学数据集上，SS-GAN 与 CRF 结合后达到 83.66% 的 OA，超过次优方法（SPC-GAN 的 73.39%）。
• CRF 后处理在所有 GAN 架构中均一致提升了分类精度，仅在仅使用空间特征的 GAN 上提升微弱。
• 该方法仅使用每类 10 个标记样本，即实现了最先进性能，证明了在低样本学习设置下的强大泛化能力。
• GAN 与 CRF 的集成有效利用了未标记数据，验证了深度生成建模与概率图模型在 HSI 分类中的协同效应。