[论文解读] Aerial Spectral Super-Resolution using Conditional Adversarial Networks

Aneesh Rangnekar, Nilay Mokashi+3 more|arXiv (Cornell University)|Dec 23, 2017

Advanced Image Fusion Techniques被引用 23

一句话总结

本文提出一种条件生成对抗网络（cGAN），用于对航空RGB图像进行光谱超分辨率，从高空间分辨率彩色图像中推断出31个光谱波段（400–700 nm）。在新型AeroCampus数据集上进行训练，模型在测试集上的均方根误差（RMSE）达到2.48，表明即使在低分辨率输入和高噪声干扰下，仍能有效恢复光谱特征。

ABSTRACT

Inferring spectral signatures from ground based natural images has acquired a lot of interest in applied deep learning. In contrast to the spectra of ground based images, aerial spectral images have low spatial resolution and suffer from higher noise interference. In this paper, we train a conditional adversarial network to learn an inverse mapping from a trichromatic space to 31 spectral bands within 400 to 700 nm. The network is trained on AeroCampus, a first of its kind aerial hyperspectral dataset. AeroCampus consists of high spatial resolution color images and low spatial resolution hyperspectral images (HSI). Color images synthesized from 31 spectral bands are used to train our network. With a baseline root mean square error of 2.48 on the synthesized RGB test data, we show that it is possible to generate spectral signatures in aerial imagery.

研究动机与目标

• 开发一种深度学习方法，用于从低空间分辨率的航空RGB图像中重建高保真光谱特征。
• 通过学习从RGB到31波段光谱数据的映射，解决高光谱成像中光谱分辨率有限的挑战。
• 引入一个新的航空高光谱数据集AeroCampus，以支持光谱超分辨率研究。
• 评估模型在处理复杂现实场景（如阴影和水面）时的鲁棒性。
• 证明条件GAN能够在噪声大和分辨率低的约束下，有效学习从RGB到光谱空间的逆映射。

提出的方法

• 训练一个条件生成对抗网络，以学习从三色RGB图像到400–700 nm范围内31波段光谱特征的映射。
• 模型采用类似U-Net的生成器架构，并引入跳跃连接，以在光谱上采样过程中保留空间细节。
• 使用PatchGAN判别器，以增强局部光谱一致性，并提高预测光谱的感知真实感。
• 在AeroCampus数据集的配对数据上进行训练，包括高分辨率RGB图像和对应的低分辨率高光谱图像。
• 通过结合光谱重建的L1损失和对抗性损失，对生成器进行优化，以提升光谱保真度。
• 通过在合成RGB测试数据上的RMSE和真实航空图像块的定性分析，对网络进行评估。

实验结果

研究问题

• RQ1 条件GAN能否有效学习从航空影像中的RGB到31波段光谱特征的逆映射？
• RQ2 该模型在具有复杂纹理（如道路、植被和阴影）的真实航空场景中泛化能力如何？
• RQ3 在水体和阴影区域等复杂条件下，模型在多大程度上能恢复光谱特征？
• RQ4 与标准回归方法相比，对抗性训练是否能提升光谱的真实感？
• RQ5 当应用于无低分辨率HSI输入的高空间分辨率RGB图像时，模型表现如何？

主要发现

• 所提出的条件GAN在合成RGB数据上的测试均方根误差（RMSE）为2.48，表明其在光谱特征恢复方面表现有效。
• 该模型能成功预测多种航空材料（如沥青、植被和建筑物）的光谱特征，且具有较高的感知保真度。
• 网络能够区分相似的RGB颜色（如蓝色汽车与天空），尽管在光谱相似的材料（如绿色汽车与沥青）之间仍存在轻微混淆。
• 在阴影区域，模型表现出鲁棒性，预测结果的幅值降低，与物理预期一致。
• 由于水体光谱受底层沉积物影响，模型在水体区域表现较弱，但预测结果反映了清澈水与浑浊水之间的预期光谱差异。
• 使用单一统一的光谱GAN架构在训练稳定性和性能上优于分波段和多阶段GAN架构。