[论文解读] Edge-Preserving Piecewise Linear Image Smoothing Using Piecewise Constant Filters

Wei Liu, Wei Xu+4 more|arXiv (Cornell University)|Jan 22, 2018

Image Enhancement Techniques参考文献 19被引用 4

一句话总结

本文提出了一种通用框架，通过重新表述平滑过程以强制实现空间分段线性输出模型，利用经典分段常数滤波器实现边缘保持的分段线性图像平滑。该方法有效消除了分段常数滤波器中常见的梯度反转伪影——尤其在细节增强、HDR色调映射和闪光/无闪光滤波等应用中——同时通过允许更少的分箱数而不牺牲质量，降低了量化加速方法的计算成本。

ABSTRACT

Most image smoothing filters in the literature assume a piecewise constant model of smoothed output images. However, the piecewise constant model assumption can cause artifacts such as gradient reversals in applications such as image detail enhancement, HDR tone mapping, etc. In these applications, a piecewise linear model assumption is more preferred. In this paper, we propose a simple yet very effective framework to smooth images of piecewise linear model assumption using classical filters with the piecewise constant model assumption. Our method is capable of handling with gradient reversal artifacts caused by the piecewise constant model assumption. In addition, our method can further help accelerated methods, which need to quantize image intensity values into different bins, to achieve similar results that need a large number of bins using a much smaller number of bins. This can greatly reduce the computational cost. We apply our method to various classical filters with the piecewise constant model assumption. Experimental results of several applications show the effectiveness of the proposed method.

研究动机与目标

• 解决经典滤波器中因分段常数模型假设而引起的边缘保持图像平滑中的梯度反转伪影问题。
• 在不修改其核心算法的前提下，利用现有分段常数滤波器实现分段线性平滑。
• 通过允许更少的分箱数而保持质量，降低依赖强度量化加速方法的计算成本。
• 为包括双边、自适应流形、域变换和加权中值滤波器在内的多种经典滤波器提供统一框架。
• 在图像细节增强、HDR色调映射和闪光/无闪光图像滤波等关键应用中展示有效性。

提出的方法

• 采用空间分段线性模型重新表述图像平滑：对于 $\mathbf{p} \in N(k)$，有 $\hat{I}_{\mathbf{p}} = \mathbf{a}_k^T\mathbf{p} + b_k$，其中 $N(k)$ 定义局部区域。
• 对输入图像的梯度应用经典分段常数滤波器（如双边、加权中值），并使用原始图像作为平滑过程的引导。
• 采用两步流程：首先，使用滤波器平滑图像梯度；其次，对平滑后的梯度进行积分以重建分段线性输出。
• 引入参数 $\beta$ 以控制梯度域中平滑与边缘保持之间的权衡。
• 将该框架应用于多种滤波器：双边、自适应流形、域变换、加权中值以及 $L_0$ 范数平滑。
• 利用现有加速滤波器（如加权中值）的结构，在减少强度量化分箱数的同时抑制量化伪影。

实验结果

研究问题

• RQ1 能否通过经典分段常数滤波器有效近似分段线性平滑模型？
• RQ2 在图像细节增强和HDR色调映射中，应用分段线性平滑是否能减少梯度反转伪影？
• RQ3 所提方法是否能在不降低输出质量的前提下，减少量化加速滤波器的计算成本？
• RQ4 与引导图像滤波器相比，所提方法在伪影抑制和视觉质量方面表现如何？
• RQ5 该框架能否在仅做最小修改的前提下推广至多种经典滤波器？

主要发现

• 所提方法在图像细节增强中成功消除了梯度反转伪影，如图2和图7所示，其结果质量与引导图像滤波器 [8] 相当。
• 在HDR色调映射中，该方法保留了树叶等精细结构，避免了分段常数平滑中出现的伪影，如图8所示。
• 在闪光/无闪光滤波中，该方法抑制了自适应流形和加权中值滤波器结果中出现的梯度反转伪影，如图9所示。
• 该方法使加权中值滤波器仅用16个分箱即可实现高质量结果，显著降低了计算成本。
• 该框架在多种经典滤波器（包括双边、域变换和 $L_0$ 范数平滑）中均表现有效，展现出广泛的适用性。
• 视觉对比显示，所提方法的结果在视觉上与引导图像滤波器 [8]（一种最先进的分段线性滤波器）无法区分。