[论文解读] Hyperspectral Data Augmentation

Jakub Nalepa, Michał Myller+1 more|arXiv (Cornell University)|Mar 13, 2019

Remote-Sensing Image Classification参考文献 13被引用 4

一句话总结

本文提出了一种新颖的在线高光谱数据增强技术，该技术在推理阶段而非训练阶段生成合成样本，从而在不增加训练时间的情况下提升深度神经网络的泛化能力。该方法引入了一种基于主成分分析（PCA）的增强技术，能够保持数据分布和类别间关系，与离线技术结合时实现了最先进的分类准确率，且具备实时推理性能。

ABSTRACT

Data augmentation is a popular technique which helps improve generalization capabilities of deep neural networks. It plays a pivotal role in remote-sensing scenarios in which the amount of high-quality ground truth data is limited, and acquiring new examples is costly or impossible. This is a common problem in hyperspectral imaging, where manual annotation of image data is difficult, expensive, and prone to human bias. In this letter, we propose online data augmentation of hyperspectral data which is executed during the inference rather than before the training of deep networks. This is in contrast to all other state-of-the-art hyperspectral augmentation algorithms which increase the size (and representativeness) of training sets. Additionally, we introduce a new principal component analysis based augmentation. The experiments revealed that our data augmentation algorithms improve generalization of deep networks, work in real-time, and the online approach can be effectively combined with offline techniques to enhance the classification accuracy.

研究动机与目标

• 为解决遥感中有限、获取成本高且不平衡的高光谱图像（HSI）训练数据所面临的挑战。
• 在不增加训练时间的前提下，提升高光谱图像分类与分割任务中深度神经网络的泛化能力。
• 提出一种新颖的在线数据增强方法，在推理阶段生成合成样本，而非在预训练阶段完成。
• 开发一种基于主成分分析（PCA）的增强技术，以保持数据分布和类别间关系。
• 评估结合在线与离线增强方法在提升分类准确率方面的有效性。

提出的方法

• 通过在推理阶段使用噪声注入和基于PCA的变换生成合成HSI样本，提出在线数据增强方法。
• 应用一种基于PCA的增强方法，将数据投影到低维空间，添加扰动，并使用全部主成分将数据重新投影回原始空间。
• 通过在原始样本与增强样本上进行投票以确定最终预测结果，从而提高模型鲁棒性。
• 在原始训练集上训练PCA，并将其同时应用于离线（增强训练数据）和在线（在测试阶段生成样本）场景。
• 采用轻量级一维光谱卷积神经网络（1D spectral CNN）实现实时推理，结合批量归一化和全连接层完成分类。
• 将在线增强（PCA-ON，Noise-ON）与离线技术（PCA，GAN，Noise）结合，以提升模型性能。

实验结果

研究问题

• RQ1 在推理阶段进行在线数据增强是否能提升深度神经网络在高光谱图像分类中的泛化能力？
• RQ2 基于PCA的数据增强在保持HSI数据原始分布和类别间关系方面效果如何？
• RQ3 结合在线与离线数据增强对HSI基准测试的分类准确率有何影响？
• RQ4 在线增强是否能在不降低推理速度的前提下实现实时处理？
• RQ5 与传统离线增强相比，在性能和训练效率方面，在线增强表现如何？

主要发现

• 使用PCA-ON和噪声注入的在线数据增强在所有三个HSI基准数据集（Salinas Valley、Indian Pines和Pavia University）上显著提升了分类准确率。
• 离线PCA与在线PCA-ON（PCA/PCA-ON）的结合实现了最高的总体准确率，相比基线模型最高提升达2.5%。
• 所提出的在线方法保持了实时推理速度，适用于卫星平台等资源受限环境的部署。
• 基于PCA的增强方法通过可视化和定量分析证实，能够有效保持原始数据分布和类别间关系。
• 将基于GAN的离线增强与在线PCA-ON结合可进一步提升性能，表明两种方法具有互补性。
• 该方法优于现有最先进的离线增强技术，尤其在处理数据量有限和类别不平衡的训练集方面表现更优。