[论文解读] Self-Validation: Early Stopping for Single-Instance Deep Generative Priors

Taihui Li, Zhong Zhuang+4 more|arXiv (Cornell University)|Oct 23, 2021

Advanced Image Processing Techniques参考文献 42被引用 10

一句话总结

本文提出 Self-Validation，一种用于图像重建任务中单实例深度生成先验（SIDGP）的原理性早停方法。通过在重建图像上在线训练深度自编码器，并利用其监控重建质量，该方法通过检测钟形曲线趋势来识别接近峰值性能的时机，相较于多种 SIDGP 模型和逆问题中的经验性早停方法，表现更优。

ABSTRACT

Recent works have shown the surprising effectiveness of deep generative models in solving numerous image reconstruction (IR) tasks, even without training data. We call these models, such as deep image prior and deep decoder, collectively as single-instance deep generative priors (SIDGPs). The successes, however, often hinge on appropriate early stopping (ES), which by far has largely been handled in an ad-hoc manner. In this paper, we propose the first principled method for ES when applying SIDGPs to IR, taking advantage of the typical bell trend of the reconstruction quality. In particular, our method is based on collaborative training and self-validation: the primal reconstruction process is monitored by a deep autoencoder, which is trained online with the historic reconstructed images and used to validate the reconstruction quality constantly. Experimentally, on several IR problems and different SIDGPs, our self-validation method is able to reliably detect near-peak performance and signal good ES points. Our code is available at https://sun-umn.github.io/Self-Validation/.

研究动机与目标

• 解决图像重建（IR）中单实例深度生成先验（SIDGP）缺乏原理性早停（ES）策略的问题，其中早停至关重要但目前多为经验性方法。
• 克服 SIDGP 中过拟合的挑战，其在优化步骤中表现出特征性的钟形曲线趋势。
• 开发一种自监督、在线的验证机制，实现在无需真实图像或外部数据的情况下可靠检测接近峰值的性能。
• 确保在多种 IR 任务（去噪、超分辨率、磁共振成像重建）和不同 SIDGP 架构（DIP、DD、SIREN）中的鲁棒性。

提出的方法

• 使用 SIDGP 优化过程中生成的重建图像序列，在线训练一个深度自编码器（AE）。
• 利用 AE 计算重建损失，作为图像质量的代理指标，形成自验证信号。
• 监控 AE 的重建损失随优化步骤的变化，以检测过拟合的开始，这对应于重建质量曲线的峰值。
• 当 AE 损失开始上升时应用早停，表明模型已开始拟合噪声或伪影。
• 将 AE 训练与主 SIDGP 优化循环集成，确保验证信号实时更新。
• 调整两个关键超参数：耐心值（p）和窗口大小（n），用于平滑验证信号，在消融研究中观察到其敏感度极低。

实验结果

研究问题

• RQ1 自监督、在线验证机制能否在无真实图像的情况下可靠检测 SIDGP 图像重建中的最优停止点？
• RQ2 所提出的 Self-Validation 方法在多种图像重建任务和 SIDGP 架构中，相较于经验性早停方法的性能表现如何？
• RQ3 该方法对耐心值（p）和窗口大小（n）等超参数的敏感度如何？
• RQ4 该方法是否能泛化至不同类型逆问题，包括非线性和线性测量模型（如磁共振成像重建）？
• RQ5 该方法对 SIDGP 和验证自编码器学习率变化的鲁棒性如何？

主要发现

• Self-Validation 在多种 IR 任务中可靠检测接近峰值的性能，包括图像去噪、超分辨率和磁共振成像重建，PSNR 差值（ES-PG）始终低于 1.0，SSIM 差值（ES-SG）低于 0.1。
• 在 9 张图像去噪基准测试中，当使用 DIP（学习率为 0.001）和 AE（学习率为 0.001）时，平均 ES-PG 为 0.593，ES-SG 为 0.043。
• 该方法对超参数的敏感度极低：耐心值（p）和窗口大小（n）在测试范围内（p ∈ {100, 300, 500, 700, 900}，n ∈ {32, 64, 128, 256, 512}）性能保持稳定。
• 即使 DIP 和 AE 的学习率发生变化，性能波动也极小，ES-PG 和 ES-SG 均保持在狭窄范围内（例如，所有设置下 ES-PG < 1.3）。
• 在 8 倍欠采样的磁共振成像重建中，该方法成功识别出接近真实峰值的停止点，实现了高保真度重建。
• 消融研究证实，较大的 p 和 n 值通常能提升检测性能，但即使在中等设置下，该方法依然具有鲁棒性。