[论文解读] Deep Image Prior with L0 Gradient Regularizer for Image Smoothing

Nhat Thanh Tran, Kevin Bui+1 more|arXiv (Cornell University)|Jan 19, 2026

Image Enhancement Techniques被引用 0

一句话总结

呈现 DIP-ℓ0，一种无监督的深度图像先验方法，辅以 L0 梯度正则化，在无训练数据的情况下执行边缘保持的图像平滑与 JPEG 伪影去除，通过基于 ADMM 的优化求解。

ABSTRACT

Image smoothing is a fundamental image processing operation that preserves the underlying structure, such as strong edges and contours, and removes minor details and textures in an image. Many image smoothing algorithms rely on computing local window statistics or solving an optimization problem. Recent state-of-the-art methods leverage deep learning, but they require a carefully curated training dataset. Because constructing a proper training dataset for image smoothing is challenging, we propose DIP-$\ell_0$, a deep image prior framework that incorporates the $\ell_0$ gradient regularizer. This framework can perform high-quality image smoothing without any training data. To properly minimize the associated loss function that has the nonconvex, nonsmooth $\ell_0$ ``norm", we develop an alternating direction method of multipliers algorithm that utilizes an off-the-shelf $\ell_0$ gradient minimization solver. Numerical experiments demonstrate that the proposed DIP-$\ell_0$ outperforms many image smoothing algorithms in edge-preserving image smoothing and JPEG artifact removal.

研究动机与目标

• 通过将深度图像先验与非凸 L0 梯度正则化相结合，动机化无游数据的图像平滑。
• 开发一个基于 ADMM 的优化方案，以最小化包含 L0 梯度项的非光滑、非凸损失。
• 在边缘保持平滑与 JPEG 伪影去除方面，展示与最先进的全局和深度滤波方法的竞争力。

提出的方法

• 将图像平滑形式化为最小化 ||f - g_theta(x)||^2 + lambda ||nabla g_theta(x)||_0，使用无监督的 DIP 先验。
• 引入辅助变量 v，并约束 v = g_theta(x)，以实现对 ADMM 的优化。
• 在 ADMM 循环中通过不完全的 SGD（反向传播）完成 theta 的更新。
• 使用近似方法（区域融合）解决 v 的更新，以实现 L0 梯度最小化。
• 通过拉格朗日乘子更新并采用指数加权平均来整合输出，得到最终的平滑图像。
• 以 Region Fusion DIP-ℓ0 作为提出的算法变体，并调优 lambda、beta、T 以及学习率以获得最佳性能。

(a) Original

实验结果

研究问题

• RQ1 无监督深度图像先验能否通过引入 L0 梯度正则化实现高质量的边缘保持平滑？
• RQ2 具备 ADMM 支持的带有 L0 梯度项的优化是否在边缘保持平滑与 JPEG 伪影去除方面优于传统平滑滤波器及其他深度滤波方法？
• RQ3 能够在实践中给出哪些参数设置（lambda、beta、迭代次数）以在保真度与平滑之间取得最佳平衡？
• RQ4 DIP-ℓ0 与监督深度滤波器及非深度方法在标准平滑基准上的对比表现如何？

主要发现

方法	PSNR	SSIM
PNLS	33.8614	0.9623
ℓ0 平滑	32.2160	0.9517
Pottslab	33.6690	0.9594
Region Fusion	33.1948	0.9586
GSF	33.8940	0.9649
RTV	33.5896	0.9592
Semi-Global WLS	33.4778	0.9576
Semi-Sparsity Filter	32.9694	0.9528
JESS-Net	34.4435	0.9664
ResNet	29.0895	0.9326
VDCNN	29.8640	0.9353
Deep WLS	33.3790	0.9531
DIP	29.3037	0.9033
DIP-TV	33.8018	0.9605
Region Fusion DIP-ℓ0 (Proposed)	34.9755	0.9641

• Region Fusion DIP-ℓ0 在边缘保持平滑基准测试中的平均 PSNR 达到对比方法中的最佳水平。
• Region Fusion DIP-ℓ0 在 SSIM 上具有竞争力或最佳水平，紧随顶尖方法（尤其是 JESS-Net 与 GSF 之后）。
• DIP-ℓ0 的变体在保持无监督条件下，优于许多传统方法及部分深度平滑方法。
• 在质量因子为 10% 的 JPEG 伪影去除任务中，Region Fusion DIP-ℓ0 提供较强的平均 PSNR 与 SSIM，通常处于评估方法之首或前列。
• 提出的 DIP-ℓ0 框架表明无监督的深层先验在平滑任务中可以超越若干监督深度滤波器。
• 由于对每张图像进行神经网络优化，方法在计算上可能更慢，折衷在于质量与效率之间。

(b) Corrupted