[论文解读] Towards Conceptual Compression

Karol Gregor, Frederic Besse+3 more|arXiv (Cornell University)|Apr 29, 2016

Generative Adversarial Networks and Image Synthesis被引用 105

一句话总结

论文提出 convolutional DRAW，一种递归变分自编码器，在图像建模方面达到最先进水平，提供分离全局概念与细节的分层潜变量表示，并通过仅存储高级潜变量来实现高质量的概念性有损压缩。

ABSTRACT

We introduce a simple recurrent variational auto-encoder architecture that significantly improves image modeling. The system represents the state-of-the-art in latent variable models for both the ImageNet and Omniglot datasets. We show that it naturally separates global conceptual information from lower level details, thus addressing one of the fundamentally desired properties of unsupervised learning. Furthermore, the possibility of restricting ourselves to storing only global information about an image allows us to achieve high quality 'conceptual compression'.

研究动机与目标

• 演示一个简单的递归式变分自编码器可以在图像数据集（Omniglot、ImageNet、CIFAR-10）上超越先前的潜变量模型。
• 显示多层分层随机变量自然地将全局概念与低级细节分离。
• 提出并评估一种概念性压缩的概念，即仅存储高级潜变量并生成其余部分。

提出的方法

• 提出 convolutional DRAW，一种在编码器和解码器中均具卷积LSTM组件的递归VAE。
• 使用多层堆叠的潜变量结构，其中较高层影响较低层的先验并为生成提供粗略引导。
• 用高斯近似后验q和高斯先验p对潜变量建模，KL散度驱动信息流（L^z_t）。
• 使用基于随机梯度的变分目标优化进行训练，并在压缩方面考虑算术编码。
• 研究输入成本缩放（β参数），以控制对高级结构 vs. 细节的强调程度。

实验结果

研究问题

• RQ1 递归卷积VAE 是否能在 Omniglot、CIFAR-10 和 ImageNet 数据集上达到最先进的似然性？
• RQ2 堆叠多层随机变量是否产生一个有意义的从全局到细节的信息层级，适用于概念性压缩？
• RQ3 仅凭高级潜变量是否能支撑高质量的有损压缩，β缩放如何影响生成图像质量？
• RQ4 推理过程中的信息在各层/时间步骤上的分布如何演变（哪些层捕捉早期信息，哪些层捕捉晚期信息）？

主要发现

• Convolutional DRAW 在 Omniglot 和 ImageNet 基准测试中对先前的潜变量模型显示出更高的似然性，优于早期的 VAE/DRAW 变体。
• 模型自然地学会将全局概念信息与低级细节分离，通过存储高级潜变量并在随后生成细节来实现概念性压缩。
• 信息在时间上更早集中在顶层，较低层在后续聚集信息，支持从全局到细节的生成过程。
• 调整输入成本尺度（beta）将重点从细节转向更广泛的结构，在较低的 beta 值时产生更清晰的高级表示。
• 在更深的迭代深度下，每次数据经过的训练速度可以提高，最终性能可超过较浅的配置。