[论文解读] Associative Compression Networks

Alex Graves, Jacob Menick+1 more|arXiv (Cornell University)|Apr 6, 2018

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文提出关联压缩网络（ACNs），一种变分自编码框架，通过基于相似潜在码的先验分布建模，降低编码成本，实现更丰富、更具信息量的表征。通过利用潜在空间中的局部结构实现序列化压缩，ACNs 在 MNIST、CIFAR-10、ImageNet 和 CelebA 数据集上，均在学习解耦的高层特征以及生成多样化、逼真的样本方面优于标准 VAE。

ABSTRACT

This paper introduces Associative Compression Networks (ACNs), a new framework for variational autoencoding with neural networks. The system differs from existing variational autoencoders (VAEs) in that the prior distribution used to model each code is conditioned on a similar code from the dataset. In compression terms this equates to sequentially transmitting the dataset using an ordering determined by proximity in latent space. Since the prior need only account for local, rather than global variations in the latent space, the coding cost is greatly reduced, leading to rich, informative codes. Crucially, the codes remain informative when powerful, autoregressive decoders are used, which we argue is fundamentally difficult with normal VAEs. Experimental results on MNIST, CIFAR-10, ImageNet and CelebA show that ACNs discover high-level latent features such as object class, writing style, pose and facial expression, which can be used to cluster and classify the data, as well as to generate diverse and convincing samples. We conclude that ACNs are a promising new direction for representation learning: one that steps away from IID modelling, and towards learning a structured description of the dataset as a whole.

研究动机与目标

• 解决标准 VAE 在使用强大自回归解码器时，难以学习信息丰富且解耦表征的局限性。
• 通过在潜在空间中建模局部而非全局变化，降低变分自编码器的编码成本。
• 实现结构化、分层的表征学习，捕捉对象类别、姿态和面部表情等高层数据属性。
• 开发一种生成模型，可在保持强解耦性和聚类性能的同时，生成多样化且逼真的样本。

提出的方法

• 在变分自编码中引入一种新先验分布，其基于潜在空间中相似数据点的潜在码进行条件化。
• 利用基于潜在空间中距离排序的数据点顺序，实现序列化传输与压缩。
• 利用自回归解码器生成高保真样本，且先验分布被设计为支持此类强大生成模型。
• 采用类似对比学习的机制，将每个潜在码与其在潜在空间中的最近邻关联，提升先验建模效率。
• 端到端训练模型，使用包含结构化、邻居条件化先验的变分下界目标函数。
• 将该框架应用于 MNIST、CIFAR-10、ImageNet 和 CelebA 等多样化数据集，验证其在不同数据模态上的泛化能力。

实验结果

研究问题

• RQ1 将先验分布基于相似潜在码进行条件化，是否能降低变分自编码器的编码成本并提升表征质量？
• RQ2 该方法是否能更有效地解耦如对象类别、姿态和面部表情等高层特征？
• RQ3 当与强大自回归解码器结合时，ACNs 是否能生成多样化且逼真的样本，而标准 VAE 则不能？
• RQ4 与标准 VAE 先验相比，ACNs 中的结构化、非独立同分布（non-IID）先验在聚类与分类性能方面表现如何？
• RQ5 ACNs 所发现的潜在空间结构在多大程度上反映了有意义且语义明确的数据组织方式？

主要发现

• ACNs 通过仅建模潜在空间中的局部变化，而非全局分布，显著降低编码成本。
• 该模型在多个数据集上成功学习到解耦的高层特征，如对象类别、书写风格、姿态和面部表情。
• ACNs 通过学习到的潜在码实现了有效的聚类与分类，表现出强大的语义结构。
• 该框架在 MNIST、CIFAR-10、ImageNet 和 CelebA 上生成了多样化且逼真的样本，优于使用自回归解码器的标准 VAE。
• 通过关联先验组织的潜在空间捕捉到数据集的结构化、分层描述，突破了独立同分布（IID）假设的限制。
• 实证结果证实，ACNs 在基准数据集上相较于基线 VAE 实现了更优的表征质量与生成性能。