[论文解读] An Architecture for Deep, Hierarchical Generative Models

Philip Bachman|arXiv (Cornell University)|Dec 8, 2016

Generative Adversarial Networks and Image Synthesis被引用 28

一句话总结

本文提出马特罗什卡网络（Matryoshka Networks, MatNets），一种深度分层生成模型，通过结合自顶向下生成、自底向上推理以及带有残差连接的融合模块，实现了具有10层以上潜在变量的端到端训练。该架构在图像建模基准上达到最先进性能，并展现出强大的零样本潜在类别结构发现能力以及在自然图像上的高质量图像补全能力。

ABSTRACT

We present an architecture which lets us train deep, directed generative models with many layers of latent variables. We include deterministic paths between all latent variables and the generated output, and provide a richer set of connections between computations for inference and generation, which enables more effective communication of information throughout the model during training. To improve performance on natural images, we incorporate a lightweight autoregressive model in the reconstruction distribution. These techniques permit end-to-end training of models with 10+ layers of latent variables. Experiments show that our approach achieves state-of-the-art performance on standard image modelling benchmarks, can expose latent class structure in the absence of label information, and can provide convincing imputations of occluded regions in natural images.

研究动机与目标

• 实现具有10层以上潜在变量的深度有向生成模型的端到端训练。
• 通过从所有潜在变量到输出的确定性路径，改善深度生成模型中的信息流动。
• 使模型能够在无标签监督的情况下发现数据中有意义且解耦的变异因子。
• 在具有遮挡区域的复杂真实自然图像上实现高质量的图像补全。
• 通过残差连接和侧向连接，将分层深度与高效的推理和生成相结合。

提出的方法

• 模型使用自顶向下（TD）网络进行生成，自底向上（BU）网络进行推理，融合模块将TD和BU状态结合以生成潜在变量样本。
• 融合模块利用残差连接和卷积层，通过重参数化方法计算潜在变量的均值和对数方差。
• 通过确定性跳跃连接将所有潜在变量直接连接到生成输出，改善梯度流动。
• 使用轻量级自回归模型建模重建分布 $p(x|z)$，以提升图像质量。
• 在顶层潜在变量上应用混合先验，以促进解耦类别结构的发现。
• 通过后验熵惩罚进行正则化，以鼓励后验分布中各成分的清晰分离。

实验结果

研究问题

• RQ1 能否使用随机变分推断对具有10层以上潜在变量的深度分层生成模型实现端到端训练？
• RQ2 模型是否能在无任何标签监督的情况下发现数据中有意义且解耦的变异因子？
• RQ3 模型是否能在具有缺失区域的复杂真实自然图像上实现高质量的图像补全？
• RQ4 确定性路径和残差连接的引入在多大程度上改善了深度生成模型的训练与性能？
• RQ5 模型在多大程度上能够重建真实图像数据集中的细粒度细节（如水印）？

主要发现

• MatNet架构在标准图像建模基准（包括MNIST、Omniglot和CIFAR-10）上达到最先进性能。
• 在Omniglot数据集上，模型在无标签情况下成功揭示了潜在类别结构，分配至混合成分的输入展现出清晰的风格一致性。
• 模型在图像补全任务中表现出令人信服的定性性能，包括在LSUN图像中重建水印。
• 对于自然图像补全，两阶段条件MatNet架构在名人面部、教堂和塔楼图像中对20×20的遮挡区域实现了高保真度重建。
• 使用轻量级自回归模型进行重建显著提升了图像质量与感知保真度。
• 模型在LSUN图像中重建水印的能力表明其对细粒度结构细节具有稳健的学习能力。