[论文解读] Hierarchical Quantized Autoencoders

Will Williams, Sam Ringer+4 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Data Compression Techniques参考文献 50被引用 25

一句话总结

本文提出分层量化自编码器（HQA），一种新颖的架构，通过使用分层的向量量化变分自编码器（VQ-VAEs）并引入一种新型训练目标，实现在极低比特率下的高质量、感知真实的图像重建。通过在分层离散潜在变量上建模概率分布并隐式学习感知先验，HQA在CelebA和MNIST数据集上实现了最先进性能，且仅使用前馈解码器，优于需要自回归解码器的方法。

ABSTRACT

Despite progress in training neural networks for lossy image compression, current approaches fail to maintain both perceptual quality and abstract features at very low bitrates. Encouraged by recent success in learning discrete representations with Vector Quantized Variational Autoencoders (VQ-VAEs), we motivate the use of a hierarchy of VQ-VAEs to attain high factors of compression. We show that the combination of stochastic quantization and hierarchical latent structure aids likelihood-based image compression. This leads us to introduce a novel objective for training hierarchical VQ-VAEs. Our resulting scheme produces a Markovian series of latent variables that reconstruct images of high-perceptual quality which retain semantically meaningful features. We provide qualitative and quantitative evaluations on the CelebA and MNIST datasets.

研究动机与目标

• 解决现有神经图像压缩方法在极低比特率下维持感知质量的局限性。
• 开发一种分层VQ-VAE架构，在实现极端压缩的同时保留语义有意义的特征。
• 提出一种新型训练目标，使高层能够隐式重建低层的完整后验分布，从而提升感知保真度。
• 仅使用前馈解码器实现高质量重建，避免使用计算成本高昂的自回归解码器。
• 提供一种稳定、可扩展且可重复的可学习压缩方法，支持贪婪训练与潜在码的独立传输。

提出的方法

• 该模型采用VQ-VAE的分层堆叠结构，每一层从上一层的输出中学习离散潜在码。
• 提出一种新型训练目标，结合了承诺损失与码本损失，并引入概率重建目标，促使高层重建低层的完整后验分布。
• 通过在每一层对离散码引入参数化分布来自然地引入随机性，避免了人为的噪声注入。
• 编码器在每一层生成量化后的潜在码，解码器通过单次前馈传播从顶层潜在码重建图像。
• 系统支持任意层作为有损码独立传输，实现在不同抽象层级的固定比特率压缩。
• 方法结合Gumbel-Softmax与MSE损失，以提升训练稳定性和重建质量。

实验结果

研究问题

• RQ1 与现有方法相比，采用新型训练目标的分层VQ-VAE是否能在超低比特率下实现更优的感知质量？
• RQ2 在分层离散潜在变量上建模概率分布，是否能带来比确定性或自回归替代方法更好的泛化能力与感知保真度？
• RQ3 是否能通过简单的前馈解码器实现高质量重建，而非依赖复杂的自回归解码器？
• RQ4 分层结构如何保留语义内容，并支持潜在表示之间的连贯插值？
• RQ5 与标准VQ-VAE训练相比，所提出的损失目标在复杂数据集（如CelebA）上在稳定性和性能方面提升了多少？

主要发现

• 在CelebA数据集上，HQA在所有比特率下均取得最优的Fréchet Inception Distance（rFID）分数，尤其在极端压缩率下提升最大。
• 在MNIST上，HQA在极低比特率下仍保持最高的分类准确率，表明其相比基线方法更好地保留了语义内容。
• 潜在空间中的线性插值显示，HQA生成了清晰、连贯且逼真的中间图像，而VQ-VAE与HAMs则产生失真或模糊的输出。
• 消融实验表明，结合Gumbel-Softmax与MSE损失可带来最大性能提升，表明二者具有正交优势。
• HQA在感知质量与语义一致性方面优于VQ-VAE、HAMs与VQ-VAE-2，尤其在每图像比特率低于100时表现更优。
• 尽管在MNIST等简单任务上性能略有下降，但概率损失对CelebA等复杂数据集的训练稳定性至关重要。