[论文解读] A Bayesian Perspective on the Deep Image Prior

Zezhou Cheng, Matheus Gadelha+2 more|arXiv (Cornell University)|Apr 16, 2019

Image and Signal Denoising Methods参考文献 13被引用 8

一句话总结

本文通过证明在网络宽度趋于无穷的极限下，具有随机权重和平稳输入的卷积网络收敛到具有可学习核的高斯过程，为深度图像先验（DIP）提供了贝叶斯解释。作者采用随机梯度朗之万动力学（SGLD）进行后验推断，消除了对早停的依赖，并在图像去噪和图像修复任务中实现了性能提升，同时提供不确定性量化。

ABSTRACT

The deep image prior was recently introduced as a prior for natural images. It represents images as the output of a convolutional network with random inputs. For "inference", gradient descent is performed to adjust network parameters to make the output match observations. This approach yields good performance on a range of image reconstruction tasks. We show that the deep image prior is asymptotically equivalent to a stationary Gaussian process prior in the limit as the number of channels in each layer of the network goes to infinity, and derive the corresponding kernel. This informs a Bayesian approach to inference. We show that by conducting posterior inference using stochastic gradient Langevin we avoid the need for early stopping, which is a drawback of the current approach, and improve results for denoising and impainting tasks. We illustrate these intuitions on a number of 1D and 2D signal reconstruction tasks.

研究动机与目标

• 通过分析网络宽度增加时的渐近行为，为深度图像先验（DIP）提供理论上的贝叶斯基础。
• 推导出在平稳输入下，具有随机权重的深度卷积网络所诱导的显式核函数，刻画其空间协方差结构。
• 通过采用原则化的贝叶斯后验推断，替代启发式的早停策略，缓解DIP中的过拟合风险。
• 通过使用随机梯度朗之万动力学（SGLD）进行后验采样，提升去噪和图像修复任务中的图像重建性能。
• 通过后验样本的方差估计，实现在图像重建中的不确定性量化。

提出的方法

• 利用连续映射定理和大数定律，证明具有随机权重和平稳输入的深度卷积网络在无限宽度极限下收敛到平稳高斯过程。
• 推导出核函数的解析表达式，其为网络深度、滤波器大小、激活函数（如ReLU、erf）以及输入相关结构的函数。
• 将极限下的高斯过程用作贝叶斯推断的先验，通过随机梯度朗之万动力学（SGLD）实现完整的后验采样。
• 通过SGLD实现后验采样，避免过拟合并消除DIP优化中对早停的需求。
• 通过计算后验样本间的方差，估计重建图像中的不确定性，可视化为热力图。
• 在1D和2D信号重建任务（包括图像去噪和图像修复）上验证方法，将SGLD与使用早停的SGD进行比较。

实验结果

研究问题

• RQ1 当通道数趋于无穷时，具有随机权重和平稳输入的深度卷积网络的渐近分布是什么？
• RQ2 在此极限下，由网络结构和激活函数诱导的核函数的显式形式是什么？
• RQ3 基于SGLD的贝叶斯推断是否能在图像重建任务中优于使用早停的标准DIP优化？
• RQ4 基于SGLD的后验采样能否提供有意义的图像重建不确定性估计，如方差图？
• RQ5 架构选择（如跳跃连接、深度）如何影响诱导核函数及重建性能？

主要发现

• 深度图像先验在渐近意义上等价于一个具有可分析核的平稳高斯过程，该核函数由网络结构和激活函数显式导出。
• 所推导的核函数能够捕捉卷积、非线性、池化和跳跃连接所诱导的空间协方差结构，从而实现有原则的先验设计。
• 基于SGLD的后验推断消除了对早停的需求，因为其通过从后验分布中采样，自然避免了过拟合。
• 在图像去噪任务中，SGLD的最终MSE接近噪声水平（σ²），而使用早停的SGD则出现过拟合，MSE趋近于零。
• 在图像修复任务中，SGLD的PSNR更高（例如32.95 vs. 30.78），且生成的不确定性图具有更低的方差，尤其在均匀区域表现更优。
• 后验样本的方差估计显示，同质区域（如天空、墙壁）的不确定性较低，而在物体边界附近不确定性较高，与直观预期一致。