[论文解读] An Objective Evaluation Metric for image fusion based on Del Operator

Ali Akbar Kiaei, Hassan Khotanlou+3 more|arXiv (Cornell University)|May 19, 2019

Advanced Image Fusion Techniques参考文献 15被引用 5

一句话总结

本文提出了一种基于德尔算子的新型、无需参数的客观图像融合评估指标，该指标将融合质量量化为[0, 1]区间内的概率值，且与光照无关。该方法通过对高斯平滑后的图像应用德尔算子，计算逐像素的矢量场，将局部梯度建模为正态分布，并推导出反映融合保真度的概率评分，其在与人类感知的一致性以及对多模态医学图像的鲁棒评估方面，优于13种现有的非参考指标。

ABSTRACT

In this paper, a novel objective evaluation metric for image fusion is presented. Remarkable and attractive points of the proposed metric are that it has no parameter, the result is probability in the range of [0, 1] and it is free from illumination dependence. This metric is easy to implement and the result is computed in four steps: (1) Smoothing the images using Gaussian filter. (2) Transforming images to a vector field using Del operator. (3) Computing the normal distribution function (μ,σ) for each corresponding pixel, and converting to the standard normal distribution function. (4) Computing the probability of being well-behaved fusion method as the result. To judge the quality of the proposed metric, it is compared to thirteen well-known non-reference objective evaluation metrics, where eight fusion methods are employed on seven experiments of multimodal medical images. The experimental results and statistical comparisons show that in contrast to the previously objective evaluation metrics the proposed one performs better in terms of both agreeing with human visual perception and evaluating fusion methods that are not performed at the same level.

研究动机与目标

• 解决现有图像融合质量评估中缺乏可靠、与光照无关的客观指标的问题。
• 开发一种能与人类视觉感知在评估融合图像质量方面高度一致的评估指标。
• 创建一种无需参数的评估方法，生成[0, 1]区间内的基于概率的评分以衡量融合性能。
• 实现对多模态医学影像数据集中多种图像融合技术的一致且可靠的比较。
• 克服现有非参考指标在区分不同性能水平融合方法方面的局限性。

提出的方法

• 使用高斯滤波器对输入图像进行平滑处理，以降低噪声并增强梯度计算的准确性。
• 应用德尔算子，将每幅图像转换为表示每个像素空间梯度信息的矢量场。
• 估计融合图像与源图像中对应像素处梯度幅值的均值（μ）和标准差（σ）。
• 将局部梯度分布转换为标准正态分布，以实现概率比较。
• 通过计算标准正态分布的累积分布函数在观测梯度差值处的值，评估融合方法是否表现良好。
• 将逐像素的概率聚合，得到[0, 1]区间内的最终评分，表示整体融合质量。

实验结果

研究问题

• RQ1 所提出的基于德尔算子的指标在评估融合医学图像时，与人类视觉感知的相关性如何？
• RQ2 该指标能否可靠地区分性能水平不同的融合方法？
• RQ3 该指标在多大程度上独立于输入图像的光照变化？
• RQ4 与13种既有的非参考指标相比，该指标在一致性和准确性方面表现如何？
• RQ5 由于无可调参数，是否提升了评估的鲁棒性与泛化能力？

主要发现

• 在七个多模态医学图像实验中，所提出的指标在与人类视觉感知的一致性方面，优于13种现有的非参考指标。
• 该指标能有效区分性能不等的融合方法，表现出对性能差异的敏感性。
• 评估得分始终位于[0, 1]范围内，数值越高表示融合质量越好，且不受光照变化影响。
• 统计比较结果证实，该指标在一致性和感知一致性方面显著优于现有替代方案。
• 该方法无需用户定义参数，计算效率高，仅需四步即可完成计算。
• 该指标在八种不同融合算法应用于多种医学影像模态时，表现出良好的鲁棒性。