[论文解读] ADMM-DIPTV: combining Total Variation and Deep Image Prior for image restoration.

Pasquale Cascarano, Andrea Sebastiani+1 more|arXiv (Cornell University)|Sep 23, 2020

Sparse and Compressive Sensing Techniques参考文献 16被引用 8

一句话总结

本文提出 ADMM-DIPTV，一种新颖的图像复原框架，通过 ADMM 优化框架将深度图像先验（DIP）与全变差（TV）正则化相结合。通过解耦 DIP 和 TV 项，该方法在合成与真实世界图像复原任务中均实现了更高的 PSNR 和 SSIM 性能，证明了结构化稀疏性与深度生成先验在无监督设置下的有效性。

ABSTRACT

In the last decades, unsupervised deep learning based methods have caught researchers attention, since in many applications collecting a great amount of training examples is not always feasible. Moreover, the construction of a good training set is time consuming and hard because the selected data have to be enough representative for the task. In this paper, we mainly focus on the Deep Image Prior (DIP) framework powered by adding the Total Variation regularizer which promotes gradient-sparsity of the solution. Differently from other existing approaches, we solve the arising minimization problem by using the well known Alternating Direction Method of Multipliers (ADMM) framework, decoupling the contribution of the DIP $L_{2}$-norm and Total Variation terms. The promising performances of the proposed approach, in terms of PSNR and SSIM values, are addressed by means of experiments for different image restoration tasks on synthetic as well as on real data.

研究动机与目标

• 通过利用无监督深度学习，解决图像复原中训练数据标注有限的挑战。
• 通过结合深度图像先验的归纳偏差与全变差的梯度稀疏性，提升图像复原性能。
• 为求解联合 DIP 与 TV 最小化问题，开发一种稳定且高效的优化框架。
• 在无需成对训练数据的前提下，对多种图像复原任务进行方法评估。

提出的方法

• 该方法将图像复原建模为一个约束优化问题，结合 DIP 损失（网络生成图像的 L2-范数）与全变差（TV）正则化项。
• 采用交替方向乘子法（ADMM）将问题分解为子问题，分别处理 DIP 与 TV 组件。
• ADMM 通过交替最小化图像估计、DIP 生成图像与对偶变量，确保收敛性并实现两种正则化项的解耦。
• DIP 部分采用类似 U-Net 的生成网络，通过优化隐式学习图像先验，无需预训练。
• TV 项通过促进图像梯度的稀疏性，实现分段平滑性，增强边缘保持能力。
• 优化过程交替更新 ADMM 子步骤中的图像估计与 DIP 网络参数。

实验结果

研究问题

• RQ1 在无监督设置下，将深度图像先验与全变差正则化相结合，能否提升图像复原性能？
• RQ2 与标准优化方法相比，ADMM 框架在优化联合 DIP 与 TV 目标时是否展现出更好的收敛性与稳定性？
• RQ3 所提出的 ADMM-DIPTV 方法在多样化的图像复原任务中（包括合成与真实世界数据）表现如何？
• RQ4 TV 正则化在多大程度上增强了复原图像的边缘保持与结构保真度？

主要发现

• 所提出的 ADMM-DIPTV 框架在合成图像复原任务中，PSNR 与 SSIM 值均优于基线方法。
• 该方法在真实世界图像复原数据上表现出稳健性能，证实其泛化能力超越合成样本。
• 通过 ADMM 实现 DIP 与 TV 项的解耦，相比联合优化，实现了更稳定且高效的优化过程。
• 引入全变差正则化显著提升了复原图像的结构保真度与边缘保持能力。
• 该方法在无需任何标注训练数据的情况下取得具有竞争力的结果，验证了其无监督特性。