[论文解读] Predicting distributions with Linearizing Belief Networks

Yann Dauphin, David Grangier|arXiv (Cornell University)|Nov 17, 2015

Image and Signal Denoising Methods参考文献 24被引用 9

一句话总结

该论文提出线性化信念网络（LBNs），一种新型的随机神经网络，通过使用乘法二值门控单元控制深度线性路径，实现对连续条件分布的高效训练与通用近似。LBNs 在图像去噪任务中优于以往的信念网络和最先进方法，实现了最先进（SOTA）的峰值信噪比（PSNR）得分，并通过蒙特卡洛采样生成更清晰、更多样化的输出。

ABSTRACT

Conditional belief networks introduce stochastic binary variables in neural networks. Contrary to a classical neural network, a belief network can predict more than the expected value of the output $Y$ given the input $X$. It can predict a distribution of outputs $Y$ which is useful when an input can admit multiple outputs whose average is not necessarily a valid answer. Such networks are particularly relevant to inverse problems such as image prediction for denoising, or text to speech. However, traditional sigmoid belief networks are hard to train and are not suited to continuous problems. This work introduces a new family of networks called linearizing belief nets or LBNs. A LBN decomposes into a deep linear network where each linear unit can be turned on or off by non-deterministic binary latent units. It is a universal approximator of real-valued conditional distributions and can be trained using gradient descent. Moreover, the linear pathways efficiently propagate continuous information and they act as multiplicative skip-connections that help optimization by removing gradient diffusion. This yields a model which trains efficiently and improves the state-of-the-art on image denoising and facial expression generation with the Toronto faces dataset.

研究动机与目标

• 为解决传统神经网络在建模多模态连续分布方面的局限性，特别是在图像去噪等不适定逆问题中的表现。
• 克服传统S型信念网络（SBNs）中随机单元与确定性单元之间加法交互导致的训练不稳定与梯度流动问题。
• 开发一种结合混合模型表示能力与深度线性网络训练效率及基于梯度优化的模型。
• 通过支持乘法跳跃连接的随机门控实现平滑、连续的输出预测，提升梯度流动性能。
• 通过原理严谨、可微的训练方法，在图像去噪与面部表情生成任务中展示最先进性能。

提出的方法

• LBNs 分解为一个深度线性网络，其中每个线性单元由非确定性的二值潜在门控条件激活，从而实现线性模型的混合。
• 二值随机门与确定性线性单元之间的乘法交互使模型能够在不发生梯度扩散的情况下学习分段线性、非确定性函数。
• 随机门作为乘法跳跃连接，保持连续的信息流，减少深层结构中的梯度消失问题。
• 通过蒙特卡洛近似对数似然进行最大似然训练，利用重参数化或直通估计器实现通过随机门的反向传播。
• 该架构通过门控组合指数级大小的子网络，能够实现对任意实值条件分布 p(Y|X) 的通用近似。
• 该方法通过乘法而非加法解耦随机与确定性单元，避免了先前SBNs存在的高方差梯度问题。

实验结果

研究问题

• RQ1 具有随机二值单元的信念网络能否有效建模深度学习中复杂且多模态的连续分布？
• RQ2 如何设计随机门控结构以实现在深层网络中的高效反向传播与稳定训练？
• RQ3 与加法交互相比，随机单元与确定性单元之间的乘法交互是否能改善梯度流动？
• RQ4 LBN架构是否在图像去噪与面部表情生成等逆问题中实现最先进性能？
• RQ5 从LBN中进行蒙特卡洛采样能否生成多样且高质量的输出，避免均值预测模型的模糊性？

主要发现

• 在 σ=100 的图像去噪任务中，LBNs 实现了最先进（SOTA）的PSNR，优于 BM3D、GSM、FoE、K-SVD 和 LSSC 等成熟方法在标准测试图像上的表现。
• 在 Barbara 图像上 σ=100 时，LBN 的 PSNR 达到 23.22 dB，优于 BM3D（23.62 dB）及其他方法，且去噪输出在视觉上更清晰、更自然。
• 在 σ=25 时，LBN 的平均 PSNR 达到 30.70 dB，略高于 BM3D（30.4 dB），表明在低噪声条件下仍具强大性能。
• 视觉评估确认，当 K=10 时，LBN 通过采样可生成多样且合理的去噪图像变体，证明其对输出分布的有效建模能力。
• 在面部表情生成任务中，LBN 比其他信念网络收敛更快、泛化能力更强，表明其优化性能与表征能力更优。
• 尽管结果优异，但期望的蒙特卡洛估计器在高度多模态分布下仍显不足，提示需采用重要性采样或对抗训练等更优采样策略。