[论文解读] Learning to Generate with Memory

Chongxuan Li, Jun Zhu+1 more|arXiv (Cornell University)|Feb 24, 2016

Generative Adversarial Networks and Image Synthesis参考文献 46被引用 15

一句话总结

本文提出MEM-VAE，一种深度生成模型，通过可微注意力机制将外部记忆与变分自编码器相结合，以提升生成质量。通过使用非对称识别网络将不变表示学习与细节生成解耦，该模型在多个数据集上的密度估计、图像生成和缺失值插补任务中均取得了最先进性能。

ABSTRACT

Memory units have been widely used to enrich the capabilities of deep networks on capturing long-term dependencies in reasoning and prediction tasks, but little investigation exists on deep generative models (DGMs) which are good at inferring high-level invariant representations from unlabeled data. This paper presents a deep generative model with a possibly large external memory and an attention mechanism to capture the local detail information that is often lost in the bottom-up abstraction process in representation learning. By adopting a smooth attention model, the whole network is trained end-to-end by optimizing a variational bound of data likelihood via auto-encoding variational Bayesian methods, where an asymmetric recognition network is learnt jointly to infer high-level invariant representations. The asymmetric architecture can reduce the competition between bottom-up invariant feature extraction and top-down generation of instance details. Our experiments on several datasets demonstrate that memory can significantly boost the performance of DGMs and even achieve state-of-the-art results on various tasks, including density estimation, image generation, and missing value imputation.

研究动机与目标

• 解决深度生成模型在自底向上抽象过程中丢失局部细节信息的局限性。
• 在不增加模型规模或计算负担的前提下，提升深度生成模型的生成质量。
• 实现具有外部记忆与注意力机制的生成模型的端到端训练，以提升表征学习能力。
• 通过非对称识别网络减少不变特征提取与细节生成之间的竞争。
• 在密度估计、图像生成和缺失值插补任务中展示最先进性能。

提出的方法

• 引入一种具有大容量外部记忆和软注意力机制的深度生成模型，用于存储和检索局部细节信息。
• 采用随机变分推断框架，优化数据似然的变分下界。
• 采用比生成网络更简单的非对称识别网络，以提取不变特征，同时避免与生成过程竞争。
• 通过平滑的非线性函数参数化记忆与注意力机制，确保端到端可微分性与可训练性。
• 将模型设计为交错使用随机层与确定性层，且每个确定性层均关联一个记忆模块。
• 在缺失值插补任务中采用马尔可夫链推理过程，通过迭代优化潜在因子与缺失数据。

实验结果

研究问题

• RQ1 具有注意力机制的外部记忆能否提升深度生成模型的生成质量？
• RQ2 记忆如何帮助保留自底向上抽象过程中丢失的局部细节信息？
• RQ3 非对称识别网络能否减少不变特征学习与细节生成之间的竞争？
• RQ4 所提模型是否在密度估计与图像生成任务中达到最先进性能？
• RQ5 该模型能否在各种噪声模式下有效处理缺失值插补？

主要发现

• 在Frey人脸数据集上，MEM-VAE在小批量大小为100时达到1330纳特的测试对数密度，优于VAE的1308纳特。
• 在小批量大小为10时，MEM-VAE的测试对数密度达到1240纳特，而VAE仅为1055纳特，表现出更优性能。
• MEM-VAE生成的随机样本在高噪声或低小批量条件下始终比VAE样本更清晰、更细节丰富。
• 在MNIST数据集上，MEM-VAE在RECT-12、RAND-0.6和HALF三种设置下，分别将缺失值插补的MSE降低2.9%、3.6%和2.0%。
• 定性结果表明，MEM-VAE生成的图像更具连贯性与真实性，尤其在面部表情与结构细节方面表现更优。
• 该模型在所有评估任务中均达到最先进性能：包括密度估计、图像生成与缺失值插补。