[论文解读] Infrared and visible image fusion using Latent Low-Rank Representation

Hui Li, Xiao‐Jun Wu|arXiv (Cornell University)|Apr 24, 2018

Advanced Image Fusion Techniques参考文献 31被引用 126

一句话总结

该论文提出一种基于潜在低秩表示（LatLRR）的融合方法，将红外图像和可见图像分解为低秩（全局）和显著（局部）两部分，并用不同策略进行融合与重建融合图像，在多种最先进方法上显示出更好的性能。

ABSTRACT

Infrared and visible image fusion is an important problem in the field of image fusion which has been applied widely in many fields. To better preserve the useful information from source images, in this paper, we propose a novel image fusion method based on latent low-rank representation(LatLRR) which is simple and effective. Firstly, the source images are decomposed into low-rank parts(global structure) and salient parts(local structure) by LatLRR. Then, the low-rank parts are fused by weighted-average strategy to preserve more contour information. Then, the salient parts are simply fused by sum strategy which is a efficient operation in this fusion framework. Finally, the fused image is obtained by combining the fused low-rank part and the fused salient part. Compared with other fusion methods experimentally, the proposed method has better fusion performance than state-of-the-art fusion methods in both subjective and objective evaluation. The Code of our fusion method is available at https://github.com/hli1221/imagefusion\_Infrared\_visible\_latlrr

研究动机与目标

• 在红外/可见融合中提高对全局信息与局部信息的保留。
• 利用 LatLRR 将源图像分解为低秩部分和显著部分。
• 对低秩部分采用加权平均策略进行融合，对显著部分采用求和策略进行融合。
• 通过融合后的低秩部分和显著部分重建最终融合图像。
• 使用主观和客观指标对方法与若干基线进行比较评估。

提出的方法

• 使用 LatLRR 将每个源图像分解为低秩部分（全局结构）和显著部分（局部结构）。
• 通过加权平均方案对低秩部分进行融合（权重 = 0.5 和 0.5）。
• 通过简单求和策略对显著部分进行融合（权重 = 1 和 1）。
• 通过将融合后的低秩部分和融合后的显著部分相加来重构最终融合图像。

实验结果

研究问题

• RQ1 基于 LatLRR 的分解能在红外/可见融合中同时保留全局与局部结构吗？
• RQ2 低秩和显著部分的不同融合策略是否相较单一策略方法能提升融合质量？
• RQ3 在客观指标和视觉质量方面，基于 LatLRR 的融合方法相对于最先进融合方法的表现如何？

主要发现

• 所提出的基于 LatLRR 的方法在 21 对图像上获得了比若干基线更好的客观指标（SCD、SSIM_a）以及更低的伪像（N_abf）。
• 主观上，融合结果保留了更多的显著特征与细节，伪像更少，与竞争方法相比。
• 定量结果显示该方法在所测试方法中取得了最佳的 SCD、SSIM_a 和 N_abf 值。
• 该方法提供了自然的融合效果，保持了结构和亮度信息。