[论文解读] Multi-Exposure Image Fusion Based on Exposure Compensation

Yuma Kinoshita, Taichi Yoshida+2 more|arXiv (Cornell University)|Jun 23, 2018

Image Enhancement Techniques参考文献 17被引用 5

一句话总结

本文提出了一种多曝光图像融合方法，在融合前通过曝光补偿和局部对比度增强来提升输入图像质量，利用线性相机响应模型根据曝光值关系调整亮度。与传统方法相比，该方法在TMQI、统计自然度和离散熵评分方面表现更优，显著提升了图像质量。

ABSTRACT

This paper proposes a novel multi-exposure image fusion method based on exposure compensation. Multi-exposure image fusion is a method to produce images without color saturation regions, by using photos with different exposures. However, in conventional works, it is unclear how to determine appropriate exposure values, and moreover, it is difficult to set appropriate exposure values at the time of photographing due to time constraints. In the proposed method, the luminance of the input multi-exposure images is adjusted on the basis of the relationship between exposure values and pixel values, where the relationship is obtained by assuming that a digital camera has a linear response function. The use of a local contrast enhancement method is also considered to improve input multi-exposure images. The compensated images are finally combined by one of existing multi-exposure image fusion methods. In some experiments, the effectiveness of the proposed method are evaluated in terms of the tone mapped image quality index, statistical naturalness, and discrete entropy, by comparing the proposed one with conventional ones.

研究动机与目标

• 为解决多曝光图像融合中选择最优曝光值的挑战，该挑战在实际中因时间限制和动态场景而难以实现。
• 通过使用线性相机响应模型补偿曝光差异，提升融合前输入多曝光图像的质量。
• 通过局部对比度增强和色调映射提升图像质量，减少饱和度和模糊伪影。
• 通过在融合流程中引入曝光补偿，消除对HDR生成、CRF校准和曝光保留的需求。
• 通过TMQI、统计自然度和离散熵等客观指标评估所提方法的优越性。

提出的方法

• 该方法使用线性相机响应函数建模曝光值（EV）与像素值之间的关系，假设像素值随曝光呈线性变化（I_i(p) = 2^{v_i} * I_0(p)）。
• 通过基于参考曝光（0 EV）的曝光补偿调整输入图像，按其EV相对于参考值的比例缩放像素值，实现亮度归一化。
• 在融合前对图像应用局部对比度增强，以提升欠曝和过曝区域的可见度和细节。
• 将补偿后的图像使用既有的多曝光融合方法（如Mertens、Sakai、Nejati）进行融合，生成最终的LDR输出。
• 通过直接操作曝光调整后的输入，避免HDR重建和CRF校准。
• 采用色调映射图像质量指数（TMQI）、统计自然度和离散熵作为定量评估指标。

实验结果

研究问题

• RQ1 基于线性相机响应模型的曝光补偿能否有效归一化多曝光图像之间的亮度，从而提升融合质量？
• RQ2 对输入图像进行局部对比度增强是否能提升融合输出的视觉质量并获得更高的客观指标得分？
• RQ3 与传统多曝光融合技术相比，所提方法在TMQI、统计自然度和离散熵方面表现如何？
• RQ4 所提方法能否降低在图像采集过程中对精确曝光设置的依赖，尤其是在动态场景中？
• RQ5 当原始图像严重欠曝或过曝时，曝光补偿在多大程度上能提升图像质量？

主要发现

• 在60张测试图像上，所提方法的平均TMQI得分为0.8713，高于传统方法（如Nejati [10]的0.8703）。
• 在模拟1中，统计自然度得分显著提升，所提方法平均得分为0.4439，高于Nejati [10]的0.4421和Sakai [9]的0.3919。
• 在模拟2中，所提方法在'Corridor'图像上的离散熵达到7.533，显著高于Mertens [5]的7.524和Nejati [10]的7.535，表明细节保留更优。
• 对于'Lobby'图像，统计自然度从Nejati [10]的0.0054提升至0.5541，表明在暗光场景中有效恢复了可见度。
• 在极暗场景（如'Lobby'图像）中，所提方法显著提升了图像质量，传统方法生成的输出几乎不可见，而增强后的输入图像在亮度和对比度方面表现更优。
• 在两个模拟实验中，所提方法在TMQI、统计自然度和离散熵三项指标上均优于所有传统方法。