[论文解读] Early Stopping for Deep Image Prior

Hengkang Wang, Taihui Li+4 more|arXiv (Cornell University)|Dec 11, 2021

Sparse and Compressive Sensing Techniques被引用 43

一句话总结

该论文通过监测中间重建的运行方差来检测近峰值性能，从而为 Deep Image Prior (DIP) 及其变体提供一种简单、有效的早停策略，无需ground-truth图像。该 ES-WMV 方法可在多种 DIP 变体与噪声类型下工作，提升实用性与效率。

ABSTRACT

Deep image prior (DIP) and its variants have showed remarkable potential for solving inverse problems in computer vision, without any extra training data. Practical DIP models are often substantially overparameterized. During the fitting process, these models learn mostly the desired visual content first, and then pick up the potential modeling and observational noise, i.e., overfitting. Thus, the practicality of DIP often depends critically on good early stopping (ES) that captures the transition period. In this regard, the majority of DIP works for vision tasks only demonstrates the potential of the models -- reporting the peak performance against the ground truth, but provides no clue about how to operationally obtain near-peak performance without access to the groundtruth. In this paper, we set to break this practicality barrier of DIP, and propose an efficient ES strategy, which consistently detects near-peak performance across several vision tasks and DIP variants. Based on a simple measure of dispersion of consecutive DIP reconstructions, our ES method not only outpaces the existing ones -- which only work in very narrow domains, but also remains effective when combined with a number of methods that try to mitigate the overfitting. The code is available at https://github.com/sun-umn/Early_Stopping_for_DIP.

研究动机与目标

• 在 DIP 为基础的反问题中，激发并解决 ELTO（early-learning-then-overfitting）现象。
• 开发一种实用的、无需ground-truth 的 ES 判据，适用于不同的 DIP 变体和噪声类型/水平。
• 提供一个轻量级、鲁棒的 ES 方法，超参敏感性较小。
• 证明该 ES 方法可作为正则化 DIP 模型和隐式神经表示的辅助工具。
• 提供与现有 ES 与 NR-IQM 基准方法的对比分析。

提出的方法

• 将未知图像参数化为 DIP 模型，并跟踪重建序列 x^t = G_theta^t(z)。
• 在近期重建上定义一个窗口化移动方差（VAR），以在没有 ground-truth 的情况下近似 ELTO 谷值。实现通过检测 VAR 曲线的谷值，窗口大小为 W、容忍度为 P。
• 给出 DIP with ES-WMV 的算法 1，以及使用指数加权方差（EMV）的可选内存高效变体。
• 在神经切线核（neural tangent kernel）线性化训练框架下提供理论依据；证明 VAR 在适当学习率下呈现 U 形曲线。
• 证明在两个超参数（窗口大小、容忍度）上的鲁棒性，并讨论相较于每次迭代成本的计算开销很小。

实验结果

研究问题

• RQ1 基于中间重建运行方差的 ES 判据能否在不同任务中可靠地识别接近峰值的 DIP 性能？
• RQ2 所提出的 ES-WMV 方法是否在多种 DIP 变体和噪声类型/水平下具有鲁棒性与高效性？
• RQ3 ES-WMV 是否可以作为无需 ground-truth 数据的正则化 DIP 方法和隐式神经表示的实用辅助工具？
• RQ4 在检测间隙与计算成本方面，ES-WMV 与现有的 ES 和 NR-IQM 基线方法相比有何差异？
• RQ5 理论洞见如何支撑 DIP 训练中观察到的 VAR 谷值行为？

主要发现

• ES-WMV 在图像去噪和盲图像去模糊任务中以较小的 PSNR/SSIM 间隙检测到近峰值性能。
• 相对于 DIP 更新步，额外的每次迭代开销很小，使得 ES-WMV 高效。
• ES-WMV 对多种 DIP 变体（包括 DIP-TV、GP-DIP、SIREN）以及各种噪声类型/水平仍然有效。
• NR-IQM 基线往往产生更大的检测间隙，而 ES-WMV 能在无需 ground-truth 的情况下逼近峰值性能。
• ES-WMV 在用作正则化 DIP 模型（如 DIP-TV、GP-DIP）的辅助工具时提升了性能，并且可以帮助像 SIREN 这样的隐式神经表示。
• 该方法对窗口大小和容忍度超参数具有鲁棒性，且在多任务上需要的调优最小。