[论文解读] RNADE: The real-valued neural autoregressive density-estimator

Benigno Uría, Iain Murray+1 more|arXiv (Cornell University)|Jun 2, 2013

Bayesian Methods and Mixture Models参考文献 32被引用 107

一句话总结

RNADE 引入了一种可处理的、深层的生成模型，用于使用共享参数和混合密度网络的自回归建模，对实值向量进行联合密度估计。该模型实现了高效的似然计算和基于梯度下降的训练，在大多数感知和异构数据集上优于混合模型，同时学习到分布式表征。

ABSTRACT

We introduce RNADE, a new model for joint density estimation of real-valued vectors. Our model calculates the density of a datapoint as the product of one-dimensional conditionals modeled using mixture density networks with shared parameters. RNADE learns a distributed representation of the data, while having a tractable expression for the calculation of densities. A tractable likelihood allows direct comparison with other methods and training by standard gradient-based optimizers. We compare the performance of RNADE on several datasets of heterogeneous and perceptual data, finding it outperforms mixture models in all but one case.

研究动机与目标

• 开发一种灵活且可处理的模型，用于实值数据的联合密度估计，并支持直接的似然计算。
• 通过引入混合密度网络，将神经自回归分布估计器（NADE）扩展至实值输入。
• 通过可处理的似然函数，实现使用标准梯度优化器的高效训练。
• 通过参数共享学习数据的分布式表征，提升在数据有限情况下的泛化能力。
• 在感知和异构数据集上的密度估计中，优于传统混合模型。

提出的方法

• RNADE 使用链式法则将实值向量的联合密度分解为一维条件密度的乘积。
• 每个条件密度通过一个前馈神经网络建模为高斯混合，且在各维度间共享权重。
• 在网络的输入到隐藏层权重上应用参数共享，降低模型复杂度并实现高效计算。
• 模型使用带有共享参数的混合密度网络，对每个条件分布的均值、方差和混合权重进行建模。
• 通过沿自回归顺序递归计算隐藏激活，以 O(DH) 时间高效计算对数似然。
• 使用反向传播计算似然相对于所有模型参数的梯度，支持端到端训练。

实验结果

研究问题

• RQ1 具有参数共享和混合密度输出的深层神经网络，是否能比传统混合模型更有效地建模复杂的实值联合密度？
• RQ2 在自回归流中使用共享权重是否能提升小数据集上的泛化能力？
• RQ3 能否在不依赖基于采样的推理的前提下，实现实值生成模型中的可处理似然？
• RQ4 在感知和异构数据上，RNADE 与混合模型及其他深度生成模型在密度估计性能上如何比较？
• RQ5 该模型能否学习到比单分量模型更能捕捉真实数据潜在结构的数据分布式表征？

主要发现

• RNADE 在除一个数据集外的所有测试数据集中均优于混合模型，展现出更强的建模能力。
• 该模型在图像块密度估计任务上达到最先进性能，表明其能紧密逼近复杂的感知数据分布。
• 共享参数的使用使参数数量从输入维度的二次方降低至线性，提升了泛化能力并减少了过拟合。
• 可处理的似然函数使直接使用标准梯度优化方法成为可能，避免了近似推理或采样需求。
• 通过多个活跃隐藏单元，模型学习到分布式表征，其对真实世界数据结构的匹配程度优于单分量模型。
• 实证结果表明，混合密度网络组件使模型能以更少的组件对非线性和异方差数据进行建模，优于无约束混合模型。