[论文解读] MADE: Masked Autoencoder for Distribution Estimation

Mathieu Germain, Karol Gregor+2 more|arXiv (Cornell University)|Feb 12, 2015

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 335

一句话总结

MADE 引入了一种通过参数掩码强制实现自回归约束的掩码自编码器框架，实现了仅需一次前向传播即可高效且准确地进行分布估计。通过在多种输入顺序上进行训练并利用 GPU 优化的向量化计算，MADE 在可追踪的联合概率估计任务中达到了最先进性能，在二值化 MNIST 和 UCI 数据集上的表现优于先前的 NADE 和 RBM 模型，且显著提升了计算速度。

ABSTRACT

There has been a lot of recent interest in designing neural network models to estimate a distribution from a set of examples. We introduce a simple modification for autoencoder neural networks that yields powerful generative models. Our method masks the autoencoder's parameters to respect autoregressive constraints: each input is reconstructed only from previous inputs in a given ordering. Constrained this way, the autoencoder outputs can be interpreted as a set of conditional probabilities, and their product, the full joint probability. We can also train a single network that can decompose the joint probability in multiple different orderings. Our simple framework can be applied to multiple architectures, including deep ones. Vectorized implementations, such as on GPUs, are simple and fast. Experiments demonstrate that this approach is competitive with state-of-the-art tractable distribution estimators. At test time, the method is significantly faster and scales better than other autoregressive estimators.

研究动机与目标

• 开发一种简单、高效的神经网络方法，用于可追踪的联合分布估计。
• 解决现有自回归模型在高维设置下的可扩展性和计算成本问题。
• 通过掩码自编码器的向量化 GPU 实现，实现快速推理与训练。
• 探索多顺序训练以提升模型在多样化数据分布上的泛化能力与性能。
• 与最先进可追踪分布估计器相比，展示具有竞争力的统计性能。

提出的方法

• 对标准自编码器的权重矩阵应用可学习掩码，以强制实现自回归约束，确保每个输出仅依赖于固定顺序下的先前输入。
• 在每次前向传播中使用单个掩码，或在训练期间采样多个掩码，使模型能够泛化至不同的输入顺序。
• 使用交叉熵损失进行模型训练，其中输出概率表示各输入维度的条件分布。
• 采用 ReLU 激活函数和 Sigmoid 输出层实现模型，通过在掩码连接上共享权重以保持计算效率。
• 通过堆叠掩码隐藏层将框架扩展至深层结构，确保所有层级均保持自回归结构。
• 采用自适应学习率优化方法（如 AdaGrad），并对学习率、隐藏单元数量和掩码数量等超参数进行搜索。

实验结果

研究问题

• RQ1 能否通过修改标准自编码器，使其成为一种高效且可追踪的联合分布估计器？
• RQ2 通过掩码权重强制实现自回归约束，对模型性能和可扩展性有何影响？
• RQ3 在多种随机输入顺序上进行训练，是否能提升泛化能力与测试似然，相比固定顺序模型？
• RQ4 在高维二值数据上，MADE 与 NADE 和 RBM 等现有模型相比，在性能和推理速度方面表现如何？
• RQ5 为在最大化似然的同时避免过正则化，最优掩码数量与隐藏单元数量是多少？

主要发现

• 两层 MADE 模型（32 个掩码）在二值化 MNIST 上的负对数似然达到 86.64，优于单层 NADE（88.33），并达到最佳已知结果。
• 两层 MADE 模型（32 个掩码）的测试似然为 86.64，优于单层版本（88.40），且随着深度增加，表现出更强的鲁棒性。
• 单层模型使用超过 8 个掩码，深层模型使用超过 4 个掩码时，会导致过正则化，使负对数似然上升，表明存在最优掩码数量。
• 使用 32 个掩码训练时，K20 GPU 上每轮训练耗时 100 秒，但显著快于使用 500 个隐藏单元的 NADE 基线（130 秒）。
• 模型生成了多样化且非记忆化的样本，其外观与训练集中最近邻样本明显不同，证实了其生成能力不仅限于简单插值。
• 与其它自回归模型相比，MADE 展现出更优的可扩展性与推理速度，评估成本仅比标准神经网络推理高 O(D) 倍。