[论文解读] Neural Autoregressive Distribution Estimation

Benigno Uría, Marc-Alexandre Côté+3 more|arXiv (Cornell University)|May 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 72被引用 21

一句话总结

该论文提出了神经自回归分布估计（NADE），一种基于前馈神经网络的可 tractable 模型，通过在各层间共享权重的自回归乘积规则对联合数据分布进行因子分解。NADE 在二值数据、实值数据和图像数据上均实现了具有竞争力的密度估计性能，其深层变体支持顺序无关建模，卷积扩展版本则适用于二维结构数据。

ABSTRACT

We present Neural Autoregressive Distribution Estimation (NADE) models, which are neural network architectures applied to the problem of unsupervised distribution and density estimation. They leverage the probability product rule and a weight sharing scheme inspired from restricted Boltzmann machines, to yield an estimator that is both tractable and has good generalization performance. We discuss how they achieve competitive performance in modeling both binary and real-valued observations. We also present how deep NADE models can be trained to be agnostic to the ordering of input dimensions used by the autoregressive product rule decomposition. Finally, we also show how to exploit the topological structure of pixels in images using a deep convolutional architecture for NADE.

研究动机与目标

• 开发一种可 tractable 且高效的神经网络架构，用于无监督分布与密度估计。
• 通过利用自回归因子分解，解决有向与无向图模型中边缘似然计算的不可 tractable 问题。
• 通过在自回归条件分布之间共享权重，提升高维密度估计中的泛化能力并减少过拟合。
• 通过深层架构与卷积层，将 NADE 扩展至实值数据与二维图像数据的建模。
• 通过学习输入维度的排列不变表示，使深层 NADE 实现顺序无关建模。

提出的方法

• 使用任意输入维度顺序将联合分布 $ p(\mathbf{x}) $ 因子分解为条件分布的乘积：$ p(\mathbf{x}) = \prod_{d=1}^D p(x_{o_d} \mid \mathbf{x}_{o_{<d}}) $。
• 使用具有共享输入到隐藏权重 $ \mathbf{W} $ 和共享偏置 $ \mathbf{c} $ 的前馈神经网络参数化每个条件分布，将参数量从 $ O(HD^2) $ 降低至 $ O(HD) $。
• 使用 Sigmoid 输出层，参数为 $ \mathbf{V}_{o_d, \cdot} $ 和偏置 $ b_{o_d} $，以建模二值输出的概率：$ p(x_{o_d}=1 \mid \mathbf{x}_{o_{<d}}) = \text{sigm}(\mathbf{V}_{o_d, \cdot} \mathbf{h}_d + b_{o_d}) $。
• 计算隐藏表示 $ \mathbf{h}_d = \text{sigm}(\mathbf{W}_{\cdot, o_{<d}} \mathbf{x}_{o_{<d}} + \mathbf{c}) $，其中每个条件仅使用相关的输入维度。
• 通过随机梯度下降进行最大似然训练，结合早停法与权重衰减以防止过拟合。
• 通过混合密度网络（MoG）或每输出维度的拉普拉斯分布，将 NADE 扩展至实值数据；通过共享卷积核的深层卷积 NADE 实现图像建模。

实验结果

研究问题

• RQ1 基于神经网络的自回归模型是否能在保持可 tractable 似然计算的同时，实现具有竞争力的密度估计性能？
• RQ2 NADE 中的权重共享相较于每个条件独立的网络，如何影响模型容量、泛化能力与参数效率？
• RQ3 能否通过网络架构设计使深层 NADE 模型对输入顺序保持不变？
• RQ4 与标准基线相比，NADE 在建模结构化数据（如二维图像与语音频谱图）方面的有效性如何？
• RQ5 能否通过混合密度或连续输出分布将 NADE 扩展至实值数据的建模？

主要发现

• NADE 在二值 MNIST 数据集上实现了最先进水平的对数似然性能，优于 RBM 与其他模型，测试对数似然达到每样本 93.1 nats。
• 对于实值图像块，NADE 在每个输出维度使用 10 个高斯混合成分时，在 TIMIT 核心测试集上达到每样本 127.8 nats 的对数似然，较 MoG 基线提升 15 nats。
• 在语音频谱图上训练的 RNADE 模型生成样本中，形式峰结构更清晰，表明其对频谱动态特征的捕捉更优。
• 具有层间共享权重的深层 NADE 架构将参数量从 $ O(HD^2) $ 降低至 $ O(HD) $，显著提升了训练效率并降低了过拟合风险。
• 卷积 NADE 模型能有效利用图像中的二维拓扑结构，在自然图像块上使用 1024 单元模型时达到具有竞争力的性能。
• 使用拉普拉斯分量或 SAS（尺度模糊尺度）分布的 RNADE 展现出稳健性能，其中最佳 RNADE-MoG 模型（$ K=10 $）在 TIMIT 上达到 127.8 nats，显著优于 MoG 基线。