[论文解读] Does V-NIR based Image Enhancement Come with Better Features?

Vivek Sharma, Luc Van Gool|arXiv (Cornell University)|Aug 23, 2016

Image Enhancement Techniques参考文献 5被引用 4

一句话总结

本文提出BFWLS，一种新颖的图像增强方法，通过结合联合双边（BF）与加权最小二乘（WLS）滤波器，融合可见光（V）与近红外（NIR）图像，以保留高频细节与边缘。该方法在特征稳定性方面优于现有最先进方法，SIFT特征匹配的相对变化为4.31%，在特征保留与计算效率方面均优于现有融合方法。

ABSTRACT

Image enhancement using the visible (V) and near-infrared (NIR) usually enhances useful image details. The enhanced images are evaluated by observers perception, instead of quantitative feature evaluation. Thus, can we say that these enhanced images using NIR information has better features in comparison to the computed features in the Red, Green, and Blue color channels directly? In this work, we present a new method to enhance the visible images using NIR information via edge-preserving filters, and also investigate which method performs best from a image features standpoint. We then show that our proposed enhancement method produces more stable features than the existing state-of-the-art methods.

研究动机与目标

• 探究基于V-NIR的图像增强是否能超越视觉感知，提升图像特征质量。
• 解决图像融合方法中视觉愉悦性与特征保留之间的权衡问题。
• 开发一种结合双边滤波与WLS滤波优势的融合策略，以实现最优特征保留。
• 不仅通过人类感知评估增强质量，还通过定量特征匹配指标进行评估。
• 证明利用NIR信息增强的图像可产生比标准RGB处理更稳定、更具判别性的特征。

提出的方法

• 该方法使用双边滤波（BF）与加权最小二乘（WLS）滤波，将RGB与NIR图像分解为基底（低频）层与细节（高频）层。
• 将BF与WLS的细节层进行平均，以结合BF的精细边缘细节与WLS的多尺度细节提取能力。
• 将融合后的细节层与RGB图像的WLS基底层结合，形成新的亮度分量。
• 保留原始RGB图像的色度分量，并与增强后的亮度分量重新组合，生成最终融合图像。
• 融合策略采用BF与WLS细节层的平均，实验表明该方法比最大值融合更能有效保留隐藏细节。
• 参数设置为：WLS的λ=0.125，c=1.2；BF的edge_min=0.2，edge_max=1.0，σ_spatial=42.43，σ_range=0.1，基于经验性能确定。

实验结果

研究问题

• RQ1 使用保边滤波器进行V-NIR图像增强是否能产生比标准RGB处理更稳定、更具判别性的图像特征？
• RQ2 双边滤波与加权最小二乘滤波的结合如何影响融合图像中的特征保留？
• RQ3 BF与WLS的混合融合策略是否能优于单一滤波方法，在保留高频细节与边缘方面表现更优？
• RQ4 通过NIR信息进行图像增强在多大程度上提升了定量特征匹配性能，相较于基线RGB图像？
• RQ5 与现有最先进V-NIR融合技术相比，该方法在特征保留与计算成本方面表现如何？

主要发现

• BFWLS方法在SIFT特征匹配方面相对于RGB图像的相对变化为4.31%，优于Fredembach等[7]（3.82%）与Farbman等[2]（3.29%）。
• BFWLS-Avg变体实现了4.31%的相对变化，表明其在保留原始图像特征方面优于RGB基线。
• 该方法优于Schaul等[1]，将特征退化从1.11%降低至净提升，显示出更强的稳定性。
• BFWLS方法实现了32.69 dB的PSNR与6.45×10⁻⁴的MSE，表明重建质量高且误差低。
• 该方法保持了6.59秒/张的快速运行时间，优于Schaul等[1]（38.20秒）及其他基于WLS的方法。
• 通过平均方式融合BF与WLS细节层，相比最大值融合更能有效保留隐藏细节，避免信息丢失。