[论文解读] Multi-focus Noisy Image Fusion using Low-Rank Representation

Hui Li, Xiao‐Jun Wu+1 more|arXiv (Cornell University)|Apr 25, 2018

Advanced Image Fusion Techniques参考文献 27被引用 16

一句话总结

该论文提出了一种基于低秩表示（LRR）的新型多焦点图像融合方法，用于处理含噪源图像。该方法将LRR集成到离散小波变换（DWT）框架中，通过空间频率融合低频系数，通过LRR结合选最大策略融合高频系数，在含噪图像上实现了最先进性能，尤其在高噪声水平下表现优异。

ABSTRACT

Multi-focus noisy image fusion represents an important task in the field of image fusion which generates a single, clear and focused image from all source images. In this paper, we propose a novel multi-focus noisy image fusion method based on low-rank representation (LRR) which is a powerful tool in representation learning. A multi-scale transform framework is adopted in which source images are decomposed into low frequency and high frequency coefficients, respectively. For low frequency coefficients, the fused low frequency coefficients are determined by a spatial frequency strategy, while the high frequency coefficients are fused by the LRR-based fusion strategy. Finally, the fused image is reconstructed by inverse multi-scale transforms with fused coefficients. Experimental results demonstrate that the proposed algorithm offers state-of-the-art performance even when the source images contain noise. The Code of our fusion method is available at https://github.com/hli1221/imagefusion_noisy_lrr

研究动机与目标

• 解决多焦点含噪图像中真正自适应融合方法的缺乏问题。
• 利用低秩表示（LRR）在图像融合中的抗噪鲁棒性。
• 提升在源图像含有高斯噪声、椒盐噪声或泊松噪声时的融合性能。
• 开发一种既能保持全局图像结构又能有效处理噪声的方法。
• 在含噪条件下，超越现有的表示学习与非表示学习方法的融合性能。

提出的方法

• 该方法使用离散小波变换（DWT）将源图像分解为低频和高频子带。
• 通过空间频率和选最大策略融合低频系数，以保留结构内容。
• 通过低秩表示（LRR）融合高频系数，LRR能够建模全局结构，对噪声和异常值具有鲁棒性。
• 通过非精确增广拉格朗日乘子法（ALM）求解LRR优化问题，最小化核范数和l2,1-范数，以分离低秩分量与噪声。
• 对融合后的LRR系数应用选最大策略，以在源图像间选择最显著的特征。
• 利用融合后的子带系数通过逆向DWT重建最终融合图像。

实验结果

研究问题

• RQ1 低秩表示（LRR）能否在多焦点图像融合中有效处理噪声？
• RQ2 在不同噪声水平下，基于LRR的融合方法与CNN、SR和DWT等现有方法相比表现如何？
• RQ3 当源图像受噪声污染时，所提方法是否比最先进方法更好地保持图像结构与细节？
• RQ4 该方法在不同噪声类型（高斯噪声、椒盐噪声、泊松噪声）下是否始终表现出更优的融合性能？
• RQ5 DWT与LRR的结合是否能实现优于传统非表示学习方法的融合质量？

主要发现

• 在高斯噪声σ=0.001条件下，该方法达到最高的SSIM值0.87428和PSNR值30.99987，优于所有其他方法。
• 在高噪声水平下（高斯噪声σ=0.01），该方法实现PSNR 24.92995和SSIM 0.64582，显著优于CNN（PSNR: 20.59205, SSIM: 0.42838）和DWT（PSNR: 18.41309, SSIM: 0.35154）。
• 在椒盐噪声d=0.02条件下，该方法实现PSNR 25.10640和SSIM 0.69728，优于第二好的方法（MLVGG）1.0 dB（PSNR）和0.028（SSIM）。
• 在泊松噪声条件下，该方法实现PSNR 29.28811和SSIM 0.83724，优于第二好的方法（MLVGG）0.5 dB（PSNR）和0.043（SSIM）。
• 在高噪声条件下，该方法表现出一致的优越性，RMSE和SSIM指标的性能差距最大，证实了其对噪声的鲁棒性。
• 该方法在所有噪声类型下均保持强性能，表明LRR能有效减轻噪声对图像融合的影响。