[论文解读] A bi-level view of inpainting - based image compression

Yunjin Chen, René Ranftl+1 more|arXiv (Cornell University)|Jan 16, 2014

Advanced Image Processing Techniques参考文献 10被引用 10

一句话总结

本文提出了一种基于图像修复的图像压缩双层优化框架，通过优化支撑像素的选择来提升重建质量。该研究引入了高效的算法——连续预处理对偶法与iPiano，并证明了双调和插值仅使用5%的像素即可实现近乎完美的图像恢复，显著优于拉普拉斯模型与全变差模型。

ABSTRACT

Inpainting based image compression approaches, especially linear and non-linear diffusion models, are an active research topic for lossy image compression. The major challenge in these compression models is to find a small set of descriptive supporting points, which allow for an accurate reconstruction of the original image. It turns out in practice that this is a challenging problem even for the simplest Laplacian interpolation model. In this paper, we revisit the Laplacian interpolation compression model and introduce two fast algorithms, namely successive preconditioning primal dual algorithm and the recently proposed iPiano algorithm, to solve this problem efficiently. Furthermore, we extend the Laplacian interpolation based compression model to a more general form, which is based on principles from bi-level optimization. We investigate two different variants of the Laplacian model, namely biharmonic interpolation and smoothed Total Variation regularization. Our numerical results show that significant improvements can be obtained from the biharmonic interpolation model, and it can recover an image with very high quality from only 5% pixels.

研究动机与目标

• 通过优化图像修复中支撑像素的选择而非依赖随机采样，提升有损图像压缩性能。
• 解决先前方法计算效率低下的问题，这些方法需数百万次迭代才能找到最优数据点。
• 将拉普拉斯插值推广至更一般的模型，包括双调和插值与平滑全变差正则化，以提升重建保真度。
• 开发快速、可扩展的算法——连续预处理对偶法与iPiano，用于求解由此产生的大规模双层优化问题。
• 通过实验验证，双调和插值可在仅使用5%像素的情况下实现高质量图像重建，优于现有方法。

提出的方法

• 将最优数据点选择建模为双层优化问题，其中上层选择掩码，下层求解图像修复模型。
• 以拉普拉斯插值模型作为基线，其由带狄利克雷与诺伊曼条件的PDE $-\Delta u = 0$ 表示。
• 通过PDE $\Delta^2 u = 0$ 将模型扩展至双调和插值，通过惩罚曲率实现更平滑的重建。
• 应用平滑全变差（TV）正则化以促进分段光滑解，下层问题最小化 $\|\nabla u\|_\varepsilon + \frac{1}{2}\|B^{1/2}(u - S^T x)\|^2_2$。
• 在通过隐函数定理计算梯度后，使用L-BFGS求解上层优化问题。
• 提出两种高效求解器：连续预处理对偶法与iPiano，用于加速非凸与大规模问题的收敛。

实验结果

研究问题

• RQ1 通过选择最优支撑像素而非随机采样，双层优化能否显著提升基于图像修复的图像压缩性能？
• RQ2 在低采样率下，双调和插值与平滑全变差正则化相较于标准拉普拉斯插值在重建质量上表现如何？
• RQ3 如iPiano与连续预处理对偶法等快速一阶优化算法，能否有效求解最优像素选择中产生的大规模非凸双层问题？
• RQ4 使用优化后的图像修复模型，实现视觉可接受或近乎完美的图像重建，最少需要多少像素？
• RQ5 正则化选择（拉普拉斯、双调和、TV）是否从根本上影响压缩框架的性能与稳定性？

主要发现

• 双调和插值仅使用5%的像素即可实现近乎完美的图像重建，测试图像中均方误差（MSE）低至4.85。
• 双调和模型显著优于拉普拉斯与平滑TV正则化模型，与基线方法相比，MSE降低高达70%。
• 平滑TV正则化模型即使增加计算时间也未能超越拉普拉斯插值，表明在此特定压缩设置下其收益有限。
• iPiano与连续预处理对偶法显著缩短了收敛时间，相较以往方法所需数百万次迭代有显著提升。
• 所提出的双层框架可选择高度信息量的非随机数据点，从而在低采样率下实现更优的重建质量。
• 采用L-BFGS求解上层优化问题，结合隐函数定理实现高效梯度计算，使整体框架具备可扩展性。