[論文レビュー] Practical Lossless Compression with Latent Variables using Bits Back Coding

James T. Townsend, Thomas G. Bird+1 more|arXiv (Cornell University)|Jan 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 46

ひとこと要約

BB-ANSは、ANSを用いたビットバック符号化により潜在変数モデルでのロスレス圧縮を実現します。VAEを用いたMNISTの圧縮で、負のELBOに近いレートを示しました。

ABSTRACT

Deep latent variable models have seen recent success in many data domains. Lossless compression is an application of these models which, despite having the potential to be highly useful, has yet to be implemented in a practical manner. We present `Bits Back with ANS' (BB-ANS), a scheme to perform lossless compression with latent variable models at a near optimal rate. We demonstrate this scheme by using it to compress the MNIST dataset with a variational auto-encoder model (VAE), achieving compression rates superior to standard methods with only a simple VAE. Given that the scheme is highly amenable to parallelization, we conclude that with a sufficiently high quality generative model this scheme could be used to achieve substantial improvements in compression rate with acceptable running time. We make our implementation available open source at https://github.com/bits-back/bits-back .

研究の動機と目的

• 確率的潜在変数モデルの適用としてロスレス圧縮の意義を動機づける。
• 潜在変数を効果的に扱える実用的な符号化方式（BB-ANS）を開発する。
• VAEを用いたMNISTで近似ELBOの圧縮レートを示す。
• 連続潜在変数の離散化とクリーンなシードビットの必要性に対処する。
• 並列化性と、より高品質な生成モデルによるスケーリングの可能性を強調する。

提案手法

• ビットバック符号化を導入し、それが最適符号化コストとして負のELBOと等価であることを示す。
• 従来のACをANSに置換し、BB-ANSでシームレスなチェーンを可能にする。
• 事前分布下で等質質量のビン化（等質ビン化）により連続潜在空間を離散化し、有限アルファベット符号化を実現する。
• クリーンビットの供給でBB-ANSチェーンをシードし、データ点間でチェーンを実行する方法を示す。
• ガウス先行分布とガウス近似後方分布を用いたVAEを訓練し、MNISTピクセルにベータ-二項分布の出力を使用する。
• 圧縮レートがテストデータで観測される負のELBOに近く追従することを示す。

実験結果

リサーチクエスチョン

• RQ1 BB-ANSは現実的なデータセットに対して潜在変数モデルの負のELBOに近い圧縮レートを達成できるか。
• RQ2 連続潜在変数を、符号化効率の大幅な損失なく離散化するにはどうすればよいか。
• RQ3 有限精度、離散化、クリーンでないシードビットがBB-ANSの性能に与える影響は？
• RQ4 MNISTにおけるBB-ANSの標準的な汎用圧縮アルゴリズムとの比較、そして最新モデルでのスケール可能性はどうか。

主な発見

データセット	生データ	VAEのテストELBO	BB-ANS	bz2	gzip	PNG	WebP
Binarized MNIST	1	0.19	0.19	0.25	0.33	0.78	0.44
Full MNIST	8	1.39	1.41	1.42	1.64	2.79	2.10

• BB-ANSは、簡単なVAEを用いて、バイナリ化MNISTと全MNISTの両方でbz2、gzip、PNG、WebPよりも優れたレートでMNISTデータを圧縮する。
• Compression rates achieved by BB-ANS are very close to the negative ELBO of the trained VAE (small ~1% discrepancy).
• Continuous latent variables can be coded with bits back up to arbitrary precision without affecting the coding rate, enabling BB-ANS with VAEs.
• The method is compatible with parallelization and could yield substantial gains with higher-quality generative models.
• The authors provide an open-source implementation and argue BB-ANS could outperform generic compression schemes when paired with state-of-the-art latent variable models.