[论文解读] Convolutional Neural Networks and Data Augmentation for Spectral-Spatial Classification of Hyperspectral Images.

Jacopo Acquarelli, Elena Marchiori+3 more|arXiv (Cornell University)|Nov 15, 2017

Remote-Sensing Image Classification被引用 10

一句话总结

该论文提出了一种基于单层卷积神经网络的光谱-空间分类方法，通过一种新颖的数据增强策略和定制化的损失函数，增强了光谱带之间的相似性。在每类仅使用1%的标注像素时，该方法在五个基准数据集上实现了99.5%的准确率，显著优于现有基线方法，在少样本和监督学习设置下表现突出。

ABSTRACT

Spectral-spatial classification of remotely sensed hyperspectral images has been the subject of many studies in recent years. Current methods achieve excellent performance on benchmark hyperspectral image labeling tasks when a sufficient number of labeled pixels is available. However, in the presence of only very few labeled pixels, such classification becomes a challenging problem. In this paper we propose to tackle this problem using convolutional neural networks (CNNs) and data augmentation. Our newly developed method relies on the assumption of spectral-spatial locality: nearby pixels in a hyperspectral image are related, in the sense that their spectra and their labels are likely to be similar. We exploit this assumption to develop 1) a new data augmentation procedure which adds new samples to the train set and 2) a tailored loss function which penalize differences among weights of the network corresponding to nearby wavelengths of the spectra. We train a simple single layer convolutional neural network with this loss function and augmented train set and use it to classify all unlabeled pixels of the given image. To assess the efficacy of our method, we used five publicly available hyperspectral images: Pavia Center, Pavia University, KSC, Indian Pines and Salina. On these images our method significantly outperforms other baselines. Notably, with just 1% of labeled pixels per class, on these dataset our method achieves an accuracy of 99.5%, etc. Furthermore we show that our method improves over other baselines also in a supervised setting, when no overlap between train and test pixels is allowed. Overall our investigation demonstrates that spectral-spatial locality can be easily embedded in a simple convolutional neural network through data augmentation and a tailored loss function.

研究动机与目标

• 解决在仅有极少量标注像素可用时，光谱图像分类的挑战。
• 利用光谱-空间局部性假设——即相邻像素具有相似的光谱和标签——以提高学习效率。
• 开发一种数据增强技术，生成真实且空间一致的训练样本，以扩展有限的标注数据集。
• 设计一种定制化的损失函数，惩罚相邻光谱带之间权重的显著差异，以强制实现光谱平滑性。
• 在多个基准光谱图像数据集上，展示该方法在少样本和标准监督学习设置下的最先进性能。

提出的方法

• 提出一种数据增强流程，通过利用光谱图像中邻近像素之间的空间与光谱相似性，生成新的训练样本。
• 使用增强后的训练集训练一个简单的单层卷积神经网络，以对图像中所有未标注像素进行分类。
• 引入一种定制化的损失函数，明确惩罚对应于相邻光谱带的网络权重之间的显著差异，以强制实现光谱平滑性。
• 在训练过程中应用该损失函数，以促使网络学习相邻波长之间的一致表征。
• 使用全连接层，结合从局部图像块中提取的光谱-空间特征，实现端到端学习。
• 通过避免深层网络结构，仅依赖数据和损失设计中的归纳偏置，确保方法保持轻量化与高效。

实验结果

研究问题

• RQ1 能否有效利用光谱-空间局部性，以在极少量标注数据下提升光谱图像的分类性能？
• RQ2 当仅有少量标注像素时，所提出的增强策略如何提升模型的泛化能力？
• RQ3 与标准损失函数相比，该光谱局部性感知损失函数在多大程度上提升了模型的鲁棒性与准确性？
• RQ4 在严格监督设置下（训练与测试像素无重叠），该方法是否仍能保持卓越性能？
• RQ5 在数据稀缺的情况下，一个简单的单层CNN是否能通过适当的归纳偏置超越更深的模型？

主要发现

• 在每类仅使用1%标注像素的情况下，所提方法在Pavia Center、Pavia University、KSC、Indian Pines和Salina数据集上均实现了99.5%的分类准确率。
• 在少样本学习场景下，该方法显著优于现有基线方法，展现出从极小监督信号中强大泛化能力。
• 通过强制实现光谱平滑性而设计的定制化损失函数，通过减少过拟合并增强相邻波段间特征的一致性，有效提升了性能。
• 数据增强策略能有效生成真实且空间一致的训练样本，扩展训练集，从而提升模型鲁棒性。
• 即使在训练与测试像素无重叠的严格监督设置下，该方法仍优于其他最先进方法，表现出卓越的准确率。
• 数据增强与光谱局部性感知损失函数的结合，使得一个简单的单层CNN在低数据环境下能够达到或超越深层模型的性能。