[论文解读] Fast Single Image Reflection Suppression via Convex Optimization

Yang Yang, Wenye Ma+3 more|arXiv (Cornell University)|Mar 10, 2019

Image Enhancement Techniques参考文献 21被引用 5

一句话总结

本文提出了一种基于凸优化的快速方法，通过梯度阈值化和基于离散余弦变换（DCT）求解二维泊松型方程，实现单幅图像的反射抑制。该方法实现了实时性能——在1.2秒内处理完1080×1440的智能手机图像——同时保持了具有竞争力的去反射质量，在速度和细节保留方面优于以往的非凸及计算量大的方法。

ABSTRACT

Removing undesired reflections from images taken through the glass is of great importance in computer vision. It serves as a means to enhance the image quality for aesthetic purposes as well as to preprocess images in machine learning and pattern recognition applications. We propose a convex model to suppress the reflection from a single input image. Our model implies a partial differential equation with gradient thresholding, which is solved efficiently using Discrete Cosine Transform. Extensive experiments on synthetic and real-world images demonstrate that our approach achieves desirable reflection suppression results and dramatically reduces the execution time.

研究动机与目标

• 为解决在玻璃表面拍摄的单幅图像中高效抑制反射的问题，特别是实现在便携设备上的实时应用。
• 克服现有非凸模型需要大量迭代且计算成本高的局限性。
• 在有效抑制强而锐利的反射的同时，保留透射层的细节，避免以往方法中常见的暗化或模糊输出。
• 开发一种凸优化框架，实现对大尺寸真实世界图像的快速、稳定且可扩展的反射抑制。

提出的方法

• 将反射抑制建模为一个带拉普拉斯数据保真项和梯度稀疏先验的凸优化问题。
• 利用带有梯度阈值化的偏微分方程来建模反射抑制过程。
• 通过离散余弦变换（DCT）高效求解所得变分问题，实现快速计算。
• 采用参数化阈值化方案（由参数h控制），以平衡反射抑制与细节保留。
• 通过基于DCT的快速求解器求解修改后的二维泊松方程，重建去反射图像。
• 引入用户可调节的滑动条界面（在MATLAB中演示），实现实时调整抑制强度。

实验结果

研究问题

• RQ1 凸优化框架是否能在不依赖迭代非凸求解器的情况下，实现快速且有效的单图像反射抑制？
• RQ2 与最先进的非凸方法及多图像方法相比，该方法在速度和质量方面表现如何？
• RQ3 该方法在抑制强而锐利的反射时，能在多大程度上保留透射层的细节？
• RQ4 该方法是否能高效扩展至大尺寸真实世界智能手机图像（如1080×1440）以实现实时处理？

主要发现

• 所提方法在1080×1440图像上处理时间为1.15秒，显著优于以往方法的执行时间——例如，Arvanitopoulos等人[2]在相同图像尺寸下耗时185.82秒。
• 在512×512尺寸的合成图像上，该方法达到PSNR为20.99，SSIM为0.903，在两项指标上均优于[12]、[19]和[2]。
• 与[12]和[2]相比，该方法在细纹理和边缘区域保留了更多透射层细节，如放大对比图所示。
• 该方法在不同反射强度（由参数w控制）下均保持高质量结果，表明其在各种输入条件下具有鲁棒性。
• 当反射边缘与真实场景边缘一样锐利强烈时（如荧光灯），方法可能出现失败，表明在极端条件下边缘区分存在局限。