[论文解读] Associative Compression Networks for Representation Learning

Alex Graves, Jacob Menick+1 more|arXiv (Cornell University)|Apr 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 16

一句话总结

本文提出关联压缩网络（ACNs），一种变分自编码器的变体，通过在数据集中基于相似潜在码来条件化先验分布，实现高效压缩和丰富、结构化的表征。通过在潜在空间中建模局部依赖关系，ACNs 即使在使用强大的自回归解码器时也能保持信息丰富的潜在码，在 MNIST、CIFAR-10、ImageNet 和 CelebA 上实现了无监督表征学习的最先进性能。

ABSTRACT

This paper introduces Associative Compression Networks (ACNs), a new framework for variational autoencoding with neural networks. The system differs from existing variational autoencoders (VAEs) in that the prior distribution used to model each code is conditioned on a similar code from the dataset. In compression terms this equates to sequentially transmitting the dataset using an ordering determined by proximity in latent space. Since the prior need only account for local, rather than global variations in the latent space, the coding cost is greatly reduced, leading to rich, informative codes. Crucially, the codes remain informative when powerful, autoregressive decoders are used, which we argue is fundamentally difficult with normal VAEs. Experimental results on MNIST, CIFAR-10, ImageNet and CelebA show that ACNs discover high-level latent features such as object class, writing style, pose and facial expression, which can be used to cluster and classify the data, as well as to generate diverse and convincing samples. We conclude that ACNs are a promising new direction for representation learning: one that steps away from IID modelling, and towards learning a structured description of the dataset as a whole.

研究动机与目标

• 解决标准 VAE 在搭配强大自回归解码器时无法维持信息丰富潜在码的问题。
• 克服变分自编码中高层概念编码成本超过单个数据点压缩收益的悖论。
• 开发一种通过结构化潜在表征组织整个数据集的框架，而非标注单个样本。
• 实现有意义且解耦的潜在表征，支持聚类、分类和无辅助监督的可控生成。
• 证明通过在潜在空间中建模数据集范围的局部结构，可同时提升压缩效率与表征质量。

提出的方法

• 提出一种基于训练集中潜在码在潜在空间中邻近度的先验分布，该先验条件化于其最近邻。
• 采用两阶段压缩框架：首先使用基于相似码的条件先验传输潜在码，然后使用自回归解码器传输残差。
• 端到端训练模型，采用变分推断目标，最小化期望描述长度（KL 散度 + 重建损失）。
• 在潜在空间中应用 k-近邻（k-NN）搜索，以识别用于先验条件化的相似码，确保捕捉局部结构。
• 使用强大的自回归解码器（如门控 PixelCNN）从潜在码重建数据，实现高保真度生成。
• 通过沿保持结构连续性的轨迹在潜在空间中遍历，实现‘白日梦采样’，支持样本间的平滑插值。

实验结果

研究问题

• RQ1 当搭配强大自回归解码器时，变分自编码器是否能维持信息丰富的潜在码，从而克服代码忽略的常见失效模式？
• RQ2 与标准 VAE 相比，将先验条件化于数据集中相似码是否能提升压缩效率与表征质量？
• RQ3 所得到的潜在码是否能捕捉到如物体类别、姿态和风格等高层解耦因子，且适用于多样化数据集？
• RQ4 所学表征是否适合下游任务（如线性分类与聚类），而无需微调？
• RQ5 模型是否能通过连续潜在空间遍历（白日梦采样）生成多样化且高质量的样本，同时保持语义结构？

主要发现

• 在 MNIST 上，ACN 潜在码实现了 91.2% 的线性分类准确率，显著优于原始像素的 38.4%。
• 在 CIFAR-10 上，ACN 潜在码实现了 55.3% 的 top-1 线性分类准确率，高于像素的 38.4%，表明高层特征具有强解耦性。
• 在 ImageNet（32x32）上，ACN 潜在码实现了 18.5% 的 top-1 和 40.5% 的 top-5 线性分类准确率，远超像素的 3.0% 和 9.0%。
• 在 CelebA 上，ACN 潜在码保留了性别、表情和姿态等高层属性，重建结果准确建模了面部特征与光照。
• 白日梦采样揭示了面部表情、姿态和风格的平滑、连续过渡，表明潜在空间具有结构化且解耦的组织方式。
• ACN 生成样本在保真度上相较于基线门控 PixelCNN 稍有提升，尤其在捕捉全局图像一致性和多样性方面表现更优。