[论文解读] Learned Spectral Super-Resolution

Silvano Galliani, Charis Lanaras+3 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Image Fusion Techniques参考文献 40被引用 99

一句话总结

本论文训练卷积神经网络（CNN）从单个RGB图像生成完整的31波段高光谱图像，从而在不知道相机光谱响应的情况下实现盲光谱超分辨率。它在室内、室外和卫星数据上显示出具有竞争力的准确性。

ABSTRACT

We describe a novel method for blind, single-image spectral super-resolution. While conventional super-resolution aims to increase the spatial resolution of an input image, our goal is to spectrally enhance the input, i.e., generate an image with the same spatial resolution, but a greatly increased number of narrow (hyper-spectral) wave-length bands. Just like the spatial statistics of natural images has rich structure, which one can exploit as prior to predict high-frequency content from a low resolution image, the same is also true in the spectral domain: the materials and lighting conditions of the observed world induce structure in the spectrum of wavelengths observed at a given pixel. Surprisingly, very little work exists that attempts to use this diagnosis and achieve blind spectral super-resolution from single images. We start from the conjecture that, just like in the spatial domain, we can learn the statistics of natural image spectra, and with its help generate finely resolved hyper-spectral images from RGB input. Technically, we follow the current best practice and implement a convolutional neural network (CNN), which is trained to carry out the end-to-end mapping from an entire RGB image to the corresponding hyperspectral image of equal size. We demonstrate spectral super-resolution both for conventional RGB images and for multi-spectral satellite data, outperforming the state-of-the-art.

研究动机与目标

• 为从单个RGB图像提高光谱分辨率的病态问题提供动机与解决方案。
• 提出一个端到端的CNN模型，在不需要已知相机光谱响应的前提下从RGB输入预测31波段的高光谱图像。
• 证明在多样数据集上的泛化能力（室内/室外场景与卫星影像），并与现有方法进行比较。
• 探讨光谱重建与高光谱混合作为网络隐式先验学习之间的关系。

提出的方法

• 使用受语义分割启发的卷积神经网络（Tiramisu/密集连接的CNN）来预测与输入具有相同空间分辨率的高光谱输出。
• 用子像素上采样替代反卷积以保持分辨率。
• 以欧氏损失端对端训练网络，用于回归光谱强度。
• 使用带跳跃连接的密集块以缓解梯度消失并捕捉多尺度上下文。
• 在64x64的补丁上进行数据增强（翻转/旋转），并通过叠加滑动重叠的方式测试以重建完整图像。
• 在Keras中实现训练，使用Adam优化器和HeUniform初始化，并使用dropout进行正则化。

实验结果

研究问题

• RQ1 是否可以在不获取相机光谱响应信息的情况下，将单个RGB图像转换为高分辨率的高光谱图像？
• RQ2 学习到的CNN先验在盲光谱超分辨率中如何捕获自然场景的光谱结构？
• RQ3 学习到的光谱先验是否在室内、室外和卫星成像域之间具备泛化能力？
• RQ4 在不同数据集下，与现有单幅图像光谱超分辨率方法相比的性能提升是多少？

主要发现

数据集	指标	我们 的 RMSE	基线 RMSE	我们 的 RMSERel	基线 RMSERel	我们 的 SAM	基线 SAM
ICVL	RMSE	1.980	2.633	0.0587	0.0756	2.04	–
CAVE	RMSE	4.76	5.4	0.2804	–	12.10	–

• 该方法在ICVL和CAVE数据集上相对于某一前方法（Arad & Ben-Shahar）的RMSE、RMSERel和SAM度量上取得定量提升（ICVL RMSE 1.980 vs 2.633；RMSERel 0.0587 vs 0.0756；SAM 2.04 vs –；CAVE RMSE 4.76 vs 5.4；RMSERel 0.2804 vs –；SAM 12.10 vs –）。
• 该方法在卫星数据（Hyperion）上表现出竞争力的结果，即使模型对相机光谱响应未知，也能超越对比基线。
• 在不同数据集中，该方法在RMSE和RMSERel方面有改进，并在高光谱混合中展示去噪效果和可接受的端元提取。
• 该网络作为光谱混合的学习化非线性扩展，能够从RGB输入有效推断端元和丰度。
• 如预测的高光谱图像通常比真实的高光谱参考更干净，尤其在噪声较大的卫星数据中，观察到去噪有益。