[论文解读] An Open-source Tool for Hyperspectral Image Augmentation in Tensorflow

Mohamed Abdelhack|arXiv (Cornell University)|Mar 30, 2020

Remote-Sensing Image Classification参考文献 10被引用 7

一句话总结

本文提出了一种开源的、与TensorFlow兼容的高光谱卫星图像增强工具，将Keras/TensorFlow原生功能扩展至超过四个波段。该工具支持13个光谱波段，支持翻转、旋转、缩放、错切和斑点噪声等技术，结合翻转增强后测试准确率提升至93.43%，结合斑点噪声增强后达到91.25%，优于无增强的基线模型。

ABSTRACT

Satellite imagery allows a plethora of applications ranging from weather forecasting to land surveying. The rapid development of computer vision systems could open new horizons to the utilization of satellite data due to the abundance of large volumes of data. However, current state-of-the-art computer vision systems mainly cater to applications that mainly involve natural images. While useful, those images exhibit a different distribution from satellite images in addition to having more spectral channels. This allows the use of pretrained deep learning models only in a subset of spectral channels that are equivalent to natural images thus discarding valuable information from other spectral channels. This calls for research effort to optimize deep learning models for satellite imagery to enable the assessment of their utility in the domain of remote sensing. Tensorflow tool allows for rapid prototyping and testing of deep learning models, however, its built-in image generator is designed to handle a maximum of four spectral channels. This manuscript introduces an open-source tool that allows the implementation of image augmentation for hyperspectral images in Tensorflow. Given how accessible and easy-to-use Tensorflow is, this tool would provide many researchers with the means to implement, test, and deploy deep learning models for remote sensing applications.

研究动机与目标

• 解决缺乏针对超过四个光谱波段的高光谱卫星图像、且与TensorFlow原生兼容的开源增强工具的问题。
• 使研究人员能够利用广泛采用的TensorFlow框架，对高光谱遥感数据应用标准深度学习数据增强技术。
• 通过引入针对卫星图像特有的噪声模型与几何变换，提升深度神经网络在高光谱卫星图像分类任务中的泛化能力与性能。
• 通过提供一个易于使用、采用MIT许可证的开源工具，实现与开放获取卫星数据（如EuroSAT）兼容，促进深度学习在遥感领域的广泛应用。

提出的方法

• 使用scikit-image工具箱在Python中开发自定义图像生成器，扩展TensorFlow的Keras ImageDataGenerator，以支持最多13个波段的高光谱图像。
• 实现标准增强技术：水平/垂直翻转、旋转（最高90°）、缩放（最高1.5倍）、平移（最高图像尺寸的25%）、错切（最高5%）以及方差为0.010的乘性斑点噪声。
• 设计该工具可直接从JPEG 2000卫星图像中提取形状文件坐标对应的图像区域，确保训练过程中保持空间上下文信息。
• 采用VGG19作为基础CNN架构，修改为支持13通道输入，并将全连接层重构为2048×2048、2048×1024和1024×10，以实现10类别分类。
• 通过实时裁剪与变换在训练过程中应用数据增强，平移或错切后通过重复边缘像素保持图像尺寸不变。
• 训练模型共10个周期，每个周期500批（每批128张图像），使用Adam优化器（初始初始学习率=0.001）和分类交叉熵损失函数。

实验结果

研究问题

• RQ1 在自然图像深度学习中使用的标准图像增强技术，能否有效迁移至高光谱卫星图像？
• RQ2 在卫星数据中常见的斑点噪声的引入，如何影响高光谱图像分类中模型的泛化能力与性能？
• RQ3 在有限的高光谱数据集上训练深度神经网络时，数据增强在多大程度上能提升测试准确率并减少过拟合？
• RQ4 一个与TensorFlow兼容的开源工具，能否弥合深度学习框架与高光谱图像遥感应用之间的差距？

主要发现

• 水平与垂直翻转将测试准确率提升至93.43%，显著优于无增强基线的87.66%。
• 错切范围为5%时达到最高测试准确率90.93%，表明几何失真增强具有显著的泛化优势。
• 方差为0.010的斑点噪声增强使测试准确率提升至91.25%，证明其在模拟真实卫星噪声方面的有效性。
• 缩放增强导致测试准确率轻微下降（88.59%），可能由于图像失真或填充效应所致。
• 平移增强使测试准确率降至70.00%，可能因图像移动时边缘填充方式造成破坏性影响。
• 无增强模型的测试准确率为87.66%，但模型参数量达2100万，训练样本仅21,000个，过拟合风险较高——凸显了数据增强的必要性。