[论文解读] Hyperspectral-Multispectral Image Fusion with Weighted LASSO

Nguyen Tran, Rupali Mankar+2 more|arXiv (Cornell University)|Mar 15, 2020

Advanced Image Fusion Techniques参考文献 36被引用 4

一句话总结

本文提出了一种基于加权LASSO的高光谱-多光谱图像融合方法，采用ADMM提升效率，并利用MAP初始化增强重建质量。与最先进方法相比，该方法在降噪、光谱保真度和计算速度方面表现更优，尤其在高噪声和模糊条件下优势显著。

ABSTRACT

Spectral imaging enables spatially-resolved identification of materials in remote sensing, biomedicine, and astronomy. However, acquisition times require balancing spectral and spatial resolution with signal-to-noise. Hyperspectral imaging provides superior material specificity, while multispectral images are faster to collect at greater fidelity. We propose an approach for fusing hyperspectral and multispectral images to provide high-quality hyperspectral output. The proposed optimization leverages the least absolute shrinkage and selection operator (LASSO) to perform variable selection and regularization. Computational time is reduced by applying the alternating direction method of multipliers (ADMM), as well as initializing the fusion image by estimating it using maximum a posteriori (MAP) based on Hardie's method. We demonstrate that the proposed sparse fusion and reconstruction provides quantitatively superior results when compared to existing methods on publicly available images. Finally, we show how the proposed method can be practically applied in biomedical infrared spectroscopic microscopy.

研究动机与目标

• 解决高光谱与多光谱成像中光谱分辨率、空间分辨率与信噪比之间的权衡问题。
• 开发一种鲁棒的融合方法，即使在输入图像存在噪声和模糊的情况下，也能保持高空间分辨率和分子特异性。
• 通过高效的优化技术，在保持高保真度重建的同时降低计算成本。
• 提升融合图像的光谱保真度与噪声抑制能力，尤其在具有挑战性的成像条件下。
• 在生物医学红外光谱显微镜中展示其实际应用潜力。

提出的方法

• 该方法采用加权LASSO优化框架，利用Frobenius范数最小化融合图像与输入高光谱图像（HSI）和多光谱图像（MSI）之间的差异。
• 通过LASSO施加核范数正则化，以在融合输出中强制稀疏性并减少噪声。
• 采用交替方向乘子法（ADMM）分解优化问题，显著提升计算效率。
• 利用基于Hardie方法的后验概率最大估计（MAP）对融合图像进行初始化，以加速收敛并提高精度。
• 融合模型整合了HSI和MSI输入的模态特异性特征，如光谱采样、空间分辨率和噪声特性。
• 采用标准融合指标（包括PSNR、SAM、ERGAS和SSIM）在多个公开数据集上，于不同噪声条件下对方法进行评估。

实验结果

研究问题

• RQ1 基于LASSO的优化框架能否有效融合高光谱与多光谱图像，同时保持光谱与空间保真度？
• RQ2 ADMM与MAP初始化的集成在多大程度上提升了计算效率与重建质量？
• RQ3 在高噪声与模糊条件下，所提方法相较于现有最先进融合技术的性能优势有多大？
• RQ4 噪声分布（高斯分布与泊松分布）对融合方法及基线方法性能的影响如何？
• RQ5 该方法能否在真实世界成像约束下，实际应用于生物医学红外光谱显微镜？

主要发现

• 所提方法的融合时间仅为354.2秒，算法时间479.3秒，显著优于Bayes Sparse方法的2170.9秒与6976.9秒。
• 在Pavia Center数据集的泊松噪声条件下，所提方法的平均SAM为3.25°，而Bayes Sparse为6.46°，表明其光谱保真度更优。
• 在高斯噪声条件下，所提方法在KSC数据集上平均PSNR优于Bayes Sparse 6.2 dB，在Indian Pines与Salinas数据集上分别具有4 dB的优势。
• 当HSI受泊松噪声污染时，所提方法平均PSNR仅下降6.66 dB，而Bayes Sparse仅下降1.86 dB，表明其对噪声类型的鲁棒性更强。
• 在Pavia University数据集中，所提方法在所有信噪比（SNR）水平下均保持一致性能，在50 dB SNR时较Bayes Sparse具有4 dB的PSNR优势。
• 在KSC数据集（稀疏纹理场景）中，该方法表现出极小的性能退化，表明其在多样化数据类型中具备强大的泛化能力。