[论文解读] Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables

Friso H. Kingma, Pieter Abbeel+1 more|arXiv (Cornell University)|May 16, 2019

Advanced Data Compression Techniques参考文献 35被引用 43

一句话总结

Bit-Swap 将 BB-ANS 泛化为分层潜变量模型，并通过减少初始比特开销在无损压缩速率上取得更好表现，同时相对于现有方法在实证上有提升。

ABSTRACT

The bits-back argument suggests that latent variable models can be turned into lossless compression schemes. Translating the bits-back argument into efficient and practical lossless compression schemes for general latent variable models, however, is still an open problem. Bits-Back with Asymmetric Numeral Systems (BB-ANS), recently proposed by Townsend et al. (2019), makes bits-back coding practically feasible for latent variable models with one latent layer, but it is inefficient for hierarchical latent variable models. In this paper we propose Bit-Swap, a new compression scheme that generalizes BB-ANS and achieves strictly better compression rates for hierarchical latent variable models with Markov chain structure. Through experiments we verify that Bit-Swap results in lossless compression rates that are empirically superior to existing techniques. Our implementation is available at https://github.com/fhkingma/bitswap.

研究动机与目标

• 以似然基模型推动无损压缩并识别 BB-ANS 对分层潜变量的局限性。
• 引入 Bit-Swap 以降低初始比特开销并提高深层潜变量结构的实用性。
• 在标准数据集上通过实证证明 Bit-Swap 相对 BB-ANS 和基线具备更低的净比特率。

提出的方法

• 将 Bit-Swap 描述为对分层潜变量模型（具有马尔可夫链结构）的 BB-ANS 改进。
• 通过对链的递归比特回退来界定并降低所需的初始比特流。
• 给出一个形式化界限，表明 N_init^{BitSwap} ≤ N_init^{BB-ANS} 且与 ELBO 优化相关。
• 将其专门化到 z_L → z_{L-1} → ... → z_1 → x 的分层 VAE，并定义具有马尔可夫依赖的 p_theta 与 q_theta。
• 对潜变量空间进行离散化，在 MNIST、CIFAR-10 和 ImageNet (32×32) 上评估 Bit-Swap 与 BB-ANS。
• 报告累计移动平均和净比特率以展示摊销和实际性能。

实验结果

研究问题

• RQ1 Bit-Swap 是否能相较于 BB-ANS 降低分层潜变量模型的初始比特开销？
• RQ2 当与 Bit-Swap 配对时，具有马尔可夫结构的分层潜变量模型是否相较于 BB-ANS 与基线在压缩率上具有更优表现？
• RQ3 在潜变量深度 L 增长时，Bit-Swap 与 BB-ANS 在压缩效率和初始比特摊销方面的扩展性如何？
• RQ4 在 MNIST、CIFAR-10 和 ImageNet (32×32) 上，与现有方案相比，Bit-Swap 的经验性压缩性能如何？
• RQ5 Bit-Swap 的结果在不同数据集上与负 ELBO 相近的程度如何？

主要发现

压缩方案	比特率
未压缩	8.00
GNU Gzip	5.96
bzip2	5.07
LZMA	5.09
PNG	4.71
WebP	3.66
BB-ANS	3.62
Bit-Swap（ours）	3.51

• Bit-Swap 减少了初始比特流需求，并在分层潜变量模型上优于 BB-ANS。
• Bit-Swap 的净比特率的累计移动平均趋近于负 ELBO，且随着深度 L 的增加摊销速度快于 BB-ANS。
• Bit-Swap 在 MNIST、CIFAR-10 和 ImageNet (32×32) 的多种深度下均实现低于 BB-ANS 的平均净比特率。
• Bit-Swap 在测试数据集上优于传统无损编解码器（Gzip、bzip2、LZMA、PNG、WebP）和 BB-ANS。
• Bit-Swap 在 L=1 时等价于 BB-ANS，确保单层情形的正确性。
• 基于模型的结果显示，当与 Bit-Swap 配对时，分层潜变量模型可提升密度估计与压缩效率。