[论文解读] Hyperspectral and multispectral image fusion under spectrally varying spatial blurs -- Application to high dimensional infrared astronomical imaging

Claire Guilloteau, Thomas Oberlin+2 more|arXiv (Cornell University)|Dec 26, 2019

Advanced Image Fusion Techniques参考文献 46被引用 27

一句话总结

本文提出了一种新颖的高光谱与多光谱红外天文图像数据融合方法，能够处理仪器中常见的光谱相关空间模糊问题（如詹姆斯·韦伯空间望远镜中所见）。通过在频域求解逆问题并结合低维子空间，该方法高效处理高维数据，在模拟詹姆斯·韦伯空间望远镜观测条件的合成数据上，性能优于当前最先进的遥感融合技术。

ABSTRACT

Hyperspectral imaging has become a significant source of valuable data for astronomers over the past decades. Current instrumental and observing time constraints allow direct acquisition of multispectral images, with high spatial but low spectral resolution, and hyperspectral images, with low spatial but high spectral resolution. To enhance scientific interpretation of the data, we propose a data fusion method which combines the benefits of each image to recover a high spatio-spectral resolution datacube. The proposed inverse problem accounts for the specificities of astronomical instruments, such as spectrally variant blurs. We provide a fast implementation by solving the problem in the frequency domain and in a low-dimensional subspace to efficiently handle the convolution operators as well as the high dimensionality of the data. We conduct experiments on a realistic synthetic dataset of simulated observation of the upcoming James Webb Space Telescope, and we show that our fusion algorithm outperforms state-of-the-art methods commonly used in remote sensing for Earth observation.

研究动机与目标

• 解决高光谱（高光谱分辨率、低空间分辨率）与多光谱（高空间分辨率、低光谱分辨率）天文图像的融合问题，以恢复高空间-光谱分辨率的数据立方体。
• 考虑天文仪器中光谱相关空间模糊的真实物理条件，这类模糊在标准融合方法中常被忽略。
• 克服天文成像应用中高维数据与复杂卷积算子带来的计算瓶颈。
• 开发一种快速、可扩展的解决方案，适用于下一代空间望远镜（如詹姆斯·韦伯空间望远镜）。
• 通过恢复温度、密度和化学丰度等物理参数的高分辨率图，提升天体物理数据的科学解读能力。

提出的方法

• 将融合问题建模为一种正则化逆问题，整合高光谱与多光谱观测的前向模型。
• 将空间模糊建模为光谱相关形式，每个光谱波段具有独立的点扩散函数，以反映真实仪器行为。
• 通过傅里叶表示将问题转换至频域，以高效处理卷积算子。
• 通过使用光谱基（如SVD或PCA）将问题投影至低维子空间，降低计算复杂度。
• 利用对称性与稀疏性，将大规模系统矩阵（A_m, A_h, A_r）分解为块对角结构，以实现快速计算。
• 利用厄米特对称性与稀疏矩阵表示，仅计算非零元素，显著降低内存与时间开销。

实验结果

研究问题

• RQ1 当空间模糊在不同波段间呈现光谱相关性时，如何实现高光谱-空间分辨率的高光谱与多光谱天文图像融合？
• RQ2 忽略光谱相关模糊对红外天文图像融合精度有何影响？
• RQ3 基于频域与低秩结构的公式能否有效处理天文数据融合中的高维性与复杂卷积结构？
• RQ4 与地球观测与遥感领域现有的最先进融合技术相比，所提方法在性能与效率上表现如何？
• RQ5 在真实感合成天文观测中，该方法在提升空间分辨率的同时，能在多大程度上保持光谱保真度？

主要发现

• 所提方法在模拟詹姆斯·韦伯空间望远镜观测的逼真合成数据集上，显著优于当前遥感领域广泛使用的最先进融合方法。
• 通过频域处理与低维子空间投影，该算法在保持计算效率的同时实现了高重建精度。
• 该方法能有效建模光谱相关模糊，这对红外天文图像融合的准确性至关重要，但在以往工作中常被忽略。
• 通过利用矩阵稀疏性与对称性，大规模系统矩阵的计算被加速，从而实现对高维数据立方体的可扩展处理。
• 融合结果在光谱保真度与空间分辨率方面均有提升，有助于更准确地恢复天体场景中气体温度与密度等物理参数。
• 由于采用变分、基于优化的公式，该方法对初始化不敏感，且避免了NMF基融合方法中常见的局部极小值问题。