[论文解读] Image Restoration using Total Variation Regularized Deep Image Prior

Jiaming Liu, Yu Sun+2 more|arXiv (Cornell University)|Oct 30, 2018

Sparse and Compressive Sensing Techniques被引用 15

一句话总结

本文提出DIP-TV，一种新颖的图像复原框架，通过将深度图像先验（DIP）与总变差（TV）正则化相结合，以提升重建质量。通过联合优化卷积神经网络（CNN）生成器与显式TV惩罚项，DIP-TV在去噪与去模糊任务中均实现了最先进性能，显著优于标准DIP及BM3D和IRCNN等传统方法，尤其在高噪声水平下表现更优。

ABSTRACT

In the past decade, sparsity-driven regularization has led to significant improvements in image reconstruction. Traditional regularizers, such as total variation (TV), rely on analytical models of sparsity. However, increasingly the field is moving towards trainable models, inspired from deep learning. Deep image prior (DIP) is a recent regularization framework that uses a convolutional neural network (CNN) architecture without data-driven training. This paper extends the DIP framework by combining it with the traditional TV regularization. We show that the inclusion of TV leads to considerable performance gains when tested on several traditional restoration tasks such as image denoising and deblurring.

研究动机与目标

• 通过引入显式正则化，解决深度图像先验（DIP）在高噪声场景下的局限性。
• 通过结合CNN的隐式归纳偏置与总变差（TV）的分段光滑先验，提升图像复原性能。
• 在无需预训练模型或大规模数据集的前提下实现具有竞争力的结果，保持DIP的无数据依赖特性。
• 弥合DIP与BM3D、IRCNN等最先进方法在具有挑战性的复原任务中的性能差距。

提出的方法

• 该方法将图像复原建模为一个正则化优化问题，结合数据保真项与两项正则化项：一项来自DIP框架（CNN生成器权重），另一项来自图像梯度上的总变差（TV）正则化。
• 通过固定输入噪声向量，使用ADAM或类似随机梯度方法迭代优化CNN权重，以最小化目标函数。
• TV正则化通过在水平与垂直方向上对图像梯度幅值施加ℓ1-范数惩罚来实现。
• CNN架构遵循原始DIP论文中的展开式U-Net结构，包含跳跃连接且无需预训练。
• 优化过程交替更新网络权重以最小化数据保真项，并通过正则化项强制实现TV稀疏性。
• 该方法适用于灰度与彩色图像，在加性白高斯噪声（AWGN）条件下的去噪与去模糊任务中进行了实验。

实验结果

研究问题

• RQ1 显式总变差（TV）正则化的引入是否能提升深度图像先验（DIP）在图像复原任务中的性能？
• RQ2 DIP-TV在PSNR与视觉质量方面与标准DIP及BM3D、IRCNN等传统最先进方法相比表现如何？
• RQ3 TV正则化是否增强了DIP在高噪声水平下的鲁棒性，使其在DIP单独使用时可能无法保留结构细节的情况下仍能保持性能？
• RQ4 隐式CNN先验与显式TV正则化的结合在多大程度上提升了分段光滑性与纹理保留能力？

主要发现

• 在图像去噪任务中，DIP-TV在5 dB至20 dB的噪声水平范围内，平均SNR相比标准DIP提升了0.5 dB。
• 在Monarch图像上，σ = 65时，DIP-TV的SNR比DIP高0.5 dB，且比BM3D高0.35 dB。
• 在图像去模糊任务中，DIP-TV在Peppers图像上的PSNR相比DIP提升了超过0.45 dB，且比IRCNN高0.15 dB。
• 在σ = 75的彩色图像去噪任务中，DIP-TV平均SNR达到22.65 dB，优于DIP（22.05 dB），并与BM3D（22.50 dB）相当，同时保持图像无关性。
• 在灰度与彩色图像上，使用高斯模糊（σ = 2）时，DIP-TV的平均PSNR分别为32.03 dB与34.09 dB，仅比IRCNN低0.01 dB。
• 视觉结果表明，DIP-TV能有效抑制噪声，同时保留精细纹理与结构细节，例如在塔楼图像中，门的结构在其他方法中被扭曲，而DIP-TV成功保持了其完整性。