[论文解读] Iterative Neural Autoregressive Distribution Estimator (NADE-k)

Tapani Raiko, Li Yao+2 more|arXiv (Cornell University)|Jun 5, 2014

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 23

一句话总结

本文提出 NADE-k，作为神经自回归分布估计器（NADE）的迭代扩展，通过执行 k 次推理步骤来重建缺失值，从而在不增加参数数量的情况下提升模型容量。NADE-k 通过结合可 tractable 的似然计算、高效的采样方法以及受变分推理启发的多步推理机制，在两个基准数据集上实现了最先进性能。

ABSTRACT

Training of the neural autoregressive density estimator (NADE) can be viewed as doing one step of probabilistic inference on missing values in data. We propose a new model that extends this inference scheme to multiple steps, arguing that it is easier to learn to improve a reconstruction in $k$ steps rather than to learn to reconstruct in a single inference step. The proposed model is an unsupervised building block for deep learning that combines the desirable properties of NADE and multi-predictive training: (1) Its test likelihood can be computed analytically, (2) it is easy to generate independent samples from it, and (3) it uses an inference engine that is a superset of variational inference for Boltzmann machines. The proposed NADE-k is competitive with the state-of-the-art in density estimation on the two datasets tested.

研究动机与目标

• 为解决 NADE 中单步自回归推理的局限性，该局限性虽保证了训练的可 tractable 性，但限制了模型容量。
• 通过将 NADE 扩展为在缺失数据上执行 k 次迭代推理步骤，以改进似然估计和生成性能。
• 在保持似然计算可 tractable 性和高效采样能力的同时，超越标准 NADE 及无序训练变体。
• 探究与单步自回归模型相比，迭代推理是否能提升参数效率。

提出的方法

• NADE-k 使用具有 n 层的深度前馈神经网络，对给定观测值的缺失值条件概率进行建模，该过程在 k 步内迭代执行。
• 模型使用掩码输入向量，其中观测值被固定，缺失值初始化为训练数据的均值，从而实现迭代优化。
• 在每一步迭代中，网络基于当前输入向量的状态预测下一个值，该过程重复 k 次以改善重建效果。
• 训练目标是最小化所有数据排序下的负对数似然平均值，使用一种随机估计器，该估计器采样一个随机排序和一个随机起始索引 d。
• 模型架构支持灵活的深度和迭代次数，其结构同时类似于 NADE 和多预测深度玻尔兹曼机。
• 推理引擎是玻尔兹曼机变分推理的超集，通过迭代优化实现对真实数据分布的更优逼近。

实验结果

研究问题

• RQ1 在不增加模型复杂度的前提下，迭代推理能否提升如 NADE 这类自回归模型的似然估计性能？
• RQ2 在缺失值上执行 k 次推理步骤，是否相比单步自回归模型具有更高的参数效率？
• RQ3 NADE-k 是否能在保持可 tractable 似然和采样能力的同时，超越标准 NADE 和无序训练变体？
• RQ4 推理迭代次数（k）如何影响模型在密度估计任务中的性能与泛化能力？
• RQ5 NADE-k 中的迭代重建能否达到或超越更复杂的生成模型（如 RBMs 和 DBNs）的性能？

主要发现

• NADE-k 使用 1000 个隐藏单元，其测试对数似然为 -108.81，优于 NADE-mask 使用 670 个隐藏单元的 -112.51。
• NADE-5 使用 4000 个隐藏单元，测试对数似然达到 -107.28，超越了 RBMs 在相同参数量下之前的最先进结果 -107.78。
• NADE-2 使用 1000 个隐藏单元，其性能与具有相同参数量的 RBM 相当，表明参数效率得到提升。
• 在所有测试的参数配置下，NADE-k 均优于 NADE-mask，表明迭代推理增强了模型容量。
• NADE-k 生成的样本显示出高质量的重建效果，表明其有效学习了数据分布的模式。
• 模型对正则化具有鲁棒性，L2 权重衰减和 Dropout 显著提升了泛化能力，尤其在高容量设置下。