[论文解读] Boltzmann Machines and Denoising Autoencoders for Image Denoising

Kyunghyun Cho|arXiv (Cornell University)|Jan 15, 2013

Image and Signal Denoising Methods参考文献 18被引用 29

一句话总结

本文提出，玻尔兹曼机（特别是高斯-伯努利机和深度玻尔兹曼机）在图像去噪任务中表现优异，其性能可与去噪自编码器（DAE）相媲美甚至超越，尤其在高噪声水平下。实验表明，更深的模型能提升性能，GDBM(4)在0.4的椒盐噪声下，于航拍图像上达到最高22.3的PSNR，在其他图像上达到20.2的PSNR。

ABSTRACT

Image denoising based on a probabilistic model of local image patches has been employed by various researchers, and recently a deep (denoising) autoencoder has been proposed by Burger et al. [2012] and Xie et al. [2012] as a good model for this. In this paper, we propose that another popular family of models in the field of deep learning, called Boltzmann machines, can perform image denoising as well as, or in certain cases of high level of noise, better than denoising autoencoders. We empirically evaluate the two models on three different sets of images with different types and levels of noise. Throughout the experiments we also examine the effect of the depth of the models. The experiments confirmed our claim and revealed that the performance can be improved by adding more hidden layers, especially when the level of noise is high.

研究动机与目标

• 探究玻尔兹曼机是否可作为去噪自编码器在图像去噪任务中的有效替代方案。
• 评估模型深度对不同噪声水平和图像类型下去噪性能的影响。
• 在盲图像去噪设置下，比较深度玻尔兹曼机与深度自编码器的泛化能力与鲁棒性。
• 评估具有多层潜在变量的概率模型是否在图像去噪中优于浅层或单层模型。

提出的方法

• 使用基于能量的建模与最大对数似然估计，在图像块上训练高斯-伯努利受限玻尔兹曼机（GRBM）和深度玻尔兹曼机（GDBM）。
• 由于精确梯度计算不可行，采用变分近似结合马尔可夫链蒙特卡洛（MCMC）采样进行参数学习。
• 采用多层架构，其中可见单元为高斯分布，隐藏单元为伯努利分布，能量函数定义了联合概率分布。
• 通过后验推理计算给定噪声输入下期望的干净图像块，将训练好的模型应用于测试图像的去噪。
• 在白高斯噪声和椒盐噪声下，使用PSNR评估三种不同图像数据集（航拍图像、纹理图像、其他图像）上的性能。
• 比较具有不同深度（1至4层隐藏层）的模型，并评估其在未参与训练的数据集上的泛化能力。

实验结果

研究问题

• RQ1 玻尔兹曼机（特别是GRBM和GDBM）在图像去噪任务中是否表现与或优于去噪自编码器？
• RQ2 增加隐藏层数量如何影响基于玻尔兹曼机和自编码器模型的性能？
• RQ3 在高噪声水平下，玻尔兹曼机与去噪自编码器在鲁棒性方面是否存在显著差异？
• RQ4 深度玻尔兹曼机是否能在不了解测试数据分布的情况下，对未见过的图像类型实现良好泛化？
• RQ5 模型深度是否影响在去噪输出中捕捉局部图像细节与全局结构之间的权衡？

主要发现

• 在0.4的椒盐噪声下，GDBM(4)在航拍图像上达到最高22.3的PSNR，在其他图像上达到20.2，优于所有DAE变体。
• 在高噪声水平（0.4）下，GRBM和GDBM(2)优于DAE，表明玻尔兹曼机对严重噪声污染具有更强鲁棒性。
• 更深的模型（4层隐藏层）在所有数据集上均持续提升性能，尤其在高噪声条件下，证实深度增强了去噪能力。
• DAE(4)在航拍图像上达到20.8的PSNR，在其他图像上达到20.2，整体排名第二，但在高噪声环境下仍被GDBM(4)超越。
• 视觉观察显示，玻尔兹曼机更有效地保留了图像的细粒度结构，而自编码器则更强调全局图像一致性，尤其在深层架构中表现明显。
• 尽管参数量仅为DAE(2)的一半，GRBM仍优于DAE(2)，表明玻尔兹曼模型可能通过更有效的后验推理实现更优性能，且参数更少。