[论文解读] A Deeper Look into Hybrid Images

Jimut Bahan Pal|arXiv (Cornell University)|Jan 30, 2020

Advanced Image Fusion Techniques参考文献 2被引用 4

一句话总结

本文研究了混合图像的创建与优化——一种静态图像，近距离观看时呈现为一张图像，远距离观看时则呈现为另一张图像——通过使用高斯和拉普拉斯高斯滤波器对低通和高通滤波图像进行组合。主要贡献在于对参数权衡的实证分析，特别是σ值和混合权重，表明最优结果需要手动调优，并受计算成本限制，因而难以实现实时应用。

ABSTRACT

$Hybrid$ $images$ was first introduced by Olivia et al., that produced static images with two interpretations such that the images changes as a function of viewing distance. Hybrid images are built by studying human processing of multiscale images and are motivated by masking studies in visual perception. The first introduction of hybrid images showed that two images can be blend together with a high pass filter and a low pass filter in such a way that when the blended image is viewed from a distance, the high pass filter fades away and the low pass filter becomes prominent. Our main aim here is to study and review the original paper by changing and tweaking certain parameters to see how they affect the quality of the blended image produced. We have used exhaustively different set of images and filters to see how they function and whether this can be used in a real time system or not.

研究动机与目标

• 分析不同σ值和混合权重对混合图像感知质量的影响。
• 研究使用低通和高通滤波器生成混合图像的计算成本。
• 评估混合图像生成在实时系统中的可行性。
• 探索实现两张图像之间清晰、距离依赖的视觉过渡的参数调优策略。
• 评估图像对比度和色彩在混合图像组件可见性中的作用。

提出的方法

• 该研究对两张源图像应用高斯低通滤波器和拉普拉斯高斯（LoG）高通滤波器，使用不同的σ值（例如，σ = 10, 20）。
• 通过加权叠加将滤波后的图像组合，其中一个案例研究中，低通图像权重为0.85，高通图像权重为0.15，以获得最佳效果。
• 自动化脚本测量了多种核尺寸（2至30）和图像尺寸下的计算时间与图像大小。
• 系统在特定硬件设备上进行测试（图4.1），并记录了处理时间与图像大小的关系。
• 研究人员采用试错法确定最优混合权重，尤其针对色彩对比强烈的图像。
• 该方法基于卷积滤波，使用Weierstrass变换和二维高斯函数实现空间频率分离。

实验结果

研究问题

• RQ1 不同σ值如何影响混合图像的清晰度和感知过渡效果？
• RQ2 在不同观看距离下，低通和高通滤波图像之间的最优混合权重比是多少，以实现清晰的视觉感知？
• RQ3 图像尺寸和滤波核尺寸如何影响混合图像生成的计算时间？
• RQ4 色彩对比度和图像内容在多大程度上影响混合图像中两种视觉解释的可见性？
• RQ5 当前计算方法能否使混合图像生成足够高效，以实现实时应用？

主要发现

• σ = 10时，对圣雄维韦卡南达（低通）和拉玛克里希纳（高通）的图像生成了平衡的混合图像，最优混合权重为0.85×低通和0.15×高通。
• 1500×1500尺寸的图像在σ = 30时处理时间约为1000秒，表明计算成本较高。
• 低通滤波耗时长于高通滤波，可能由于缓存或NumPy优化的影响。
• 研究发现没有自动方法可确定最优混合权重；必须通过试错法进行手动调优。
• σ值与混合权重之间存在权衡：较高的σ值会增加模糊度，因此需要增加低通图像的权重以确保远距离下仍可辨识。
• 由于计算时间过长，尤其在大图像和高σ值情况下，该方法无法实现实时系统应用。