[论文解读] Deep AutoRegressive Networks

Karol Gregor, Ivo Danihelka+3 more|arXiv (Cornell University)|Oct 31, 2013

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 112

一句话总结

本文提出深度自回归网络（DARNs），一种具有自回归随机隐藏层的深度生成自编码器，可通过快速、精确的祖先采样实现高效生成。该模型通过最小描述长度（MDL）优化进行训练，近似变分推断，在MNIST、Atari游戏和UCI数据集上实现了最先进（SOTA）的生成性能。

ABSTRACT

We introduce a deep, generative autoencoder capable of learning hierarchies of distributed representations from data. Successive deep stochastic hidden layers are equipped with autoregressive connections, which enable the model to be sampled from quickly and exactly via ancestral sampling. We derive an efficient approximate parameter estimation method based on the minimum description length (MDL) principle, which can be seen as maximising a variational lower bound on the log-likelihood, with a feedforward neural network implementing approximate inference. We demonstrate state-of-the-art generative performance on a number of classic data sets: several UCI data sets, MNIST and Atari 2600 games.

研究动机与目标

• 开发一种深度生成自编码器，通过祖先采样实现快速、精确采样，克服先前模型中采样缓慢且存在相关性的问题。
• 提供一种基于最小描述长度（MDL）原理的理论基础训练方法，确保表示紧凑且无冗余。
• 在随机隐藏层内集成自回归连接，高效捕捉层内依赖关系，同时避免高昂的计算成本。
• 实现可扩展的深层架构，交替使用随机和确定性层，支持层次化表征学习。
• 在多种数据模态（包括图像和序列数据）上展示最先进（SOTA）的生成性能。

提出的方法

• 该模型采用深层架构，其中随机隐藏层通过自回归依赖关系连接，每个单元依赖于同一层中先前的单元以及前一层的单元。
• 解码器使用祖先采样：从最深层开始，自上而下逐个采样单元，生成精确样本，无需马尔可夫链的预 burn-in 阶段。
• 编码器执行自下而上、从左到右的推理，以近似给定观测值下隐藏表征的后验分布。
• 通过最小化MDL损失进行训练，该损失对应于最小化Helmholtz变分自由能，使用随机梯度下降优化。
• 通过重参数化技巧结合控制变量基线，实现对随机单元的反向传播，以降低梯度方差。
• 基线为网络输出在 h_i = 0.5 处的一阶泰勒近似，以提高梯度估计的稳定性。

实验结果

研究问题

• RQ1 在随机隐藏层内引入自回归连接，是否能实现在深度生成模型中快速、精确的祖先采样？
• RQ2 通过最小描述长度（MDL）原理进行训练，是否能获得比标准自编码器正则化更好的生成性能和更紧凑的表示？
• RQ3 具有交替随机与确定性层的深层架构，是否能被有效训练并扩展至图像和视频帧等复杂数据？
• RQ4 与无向或全连接的横向连接相比，层内自回归依赖关系在计算效率和建模能力方面表现如何？
• RQ5 DARNs在MNIST和Atari 2600游戏等基准数据集上，能在多大程度上实现最先进（SOTA）的生成性能？

主要发现

• DARNs在MNIST上实现了最先进（SOTA）的负对数似然性能，测试集得分为108.5 bits/dim，优于先前模型。
• 在Atari 2600游戏中，DARNs在测试集上的负对数似然分别为：Freeway为19.9，Pong为23.7，Space Invaders为113.0，River Raid为139.4，Sea Quest为217.9。
• 该模型生成了高质量、多样化的样本，包含训练中未见的物体新颖组合，如局部连接DARNs生成的样本所示。
• 使用控制变量基线显著降低了训练期间的梯度方差，实现了通过随机单元的稳定优化。
• 该模型在卷积和局部连接架构中均表现出有效扩展，保持了高样本质量和训练效率。
• 基于MDL的训练目标生成了紧凑、非冗余的表示，兼具预测性和生成能力。