[論文レビュー] Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables

Friso H. Kingma, Pieter Abbeel+1 more|arXiv (Cornell University)|May 16, 2019

Advanced Data Compression Techniques参考文献 35被引用数 43

ひとこと要約

Bit-SwapはBB-ANSを階層的潜在変数モデルへ一般化し、初期ビットのオーバーヘッドを削減することで可逆圧縮率を改善し、既存の手法より経験的に利得を得る。

ABSTRACT

The bits-back argument suggests that latent variable models can be turned into lossless compression schemes. Translating the bits-back argument into efficient and practical lossless compression schemes for general latent variable models, however, is still an open problem. Bits-Back with Asymmetric Numeral Systems (BB-ANS), recently proposed by Townsend et al. (2019), makes bits-back coding practically feasible for latent variable models with one latent layer, but it is inefficient for hierarchical latent variable models. In this paper we propose Bit-Swap, a new compression scheme that generalizes BB-ANS and achieves strictly better compression rates for hierarchical latent variable models with Markov chain structure. Through experiments we verify that Bit-Swap results in lossless compression rates that are empirically superior to existing techniques. Our implementation is available at https://github.com/fhkingma/bitswap.

研究の動機と目的

• 尤度ベースのモデルを用いた可逆圧縮を動機づけ、階層的潜在変数におけるBB-ANSの限界を特定する。
• Bit-Swapを導入し、初期ビットのオーバーヘッドを削減し、深い潜在構造の実用性を向上させる。
• Bit-SwapがBB-ANSおよびベンチマークと比較して標準データセットでより低い純ビットレートを生むことを経験的に示す。

提案手法

• Bit-Swapを、マルコフ連鎖構造を持つ階層的潜在変数モデルに対するBB-ANSの改良として説明する。
• 連鎖を通じた再帰的ビットバックを活用して、必要な初期ビットストリームを制約し削減する。
• N_init^{BitSwap} ≤ N_init^{BB-ANS} を示す形式的境界を提供し、ELBOの最適化と関連づける。
• z_L → z_{L-1} → ... → z_1 → x の階層的VAEに特化し、マルコフ依存性を持つ p_theta および q_theta を定義する。
• 潜在空間を離散化し、MNIST、CIFAR-10、および ImageNet (32×32) に対して Bit-Swap を BB-ANS と比較して評価する。
• アモチゼーションと実用的な性能を示すため、累積移動平均と純ビットレートを報告する。

実験結果

リサーチクエスチョン

• RQ1 階層的潜在変数モデルに対して、BB-ANSと比較してBit-Swapが初期ビットのオーバーヘッドを削減できるか？
• RQ2 マルコフ構造を持つ階層的潜在変数モデルは、Bit-Swapと組み合わせた場合、BB-ANSおよびベースラインと比較して優れた圧縮レートを生むか？
• RQ3 潜在深さLに対する圧縮効率と初期ビットのアモチゼーションの観点で、Bit-SwapとBB-ANSは深さLとともにどうスケールするか？
• RQ4 MNIST、CIFAR-10、および ImageNet (32×32スケール) におけるBit-Swapの経験的圧縮性能は、既存の方式と比較してどうか？
• RQ5 データセットを跨いで、Bit-Swapの結果は実践的に負のELBOにどれだけ近いか？

主な発見

Compression Scheme	Rate
Uncompressed	8.00
GNU Gzip	5.96
bzip2	5.07
LZMA	5.09
PNG	4.71
WebP	3.66
BB-ANS	3.62
Bit-Swap (ours)	3.51

• Bit-Swapは初期ビットストリームの要件を削減し、階層的潜在変数モデルでBB-ANSを上回る。
• Bit-Swapの純ビットレートの累積移動平均は負のELBOに収束し、深さLが大きくなるにつれてBB-ANSより早いアモチゼーションを示す。
• 複数の深さで、MNIST、CIFAR-10、および ImageNet (32×32) においてBB-ANSより平均純ビットレートが低い。
• 検証データセットで、従来の可逆圧縮コード(Gzip, bzip2, LZMA, PNG, WebP)およびBB-ANSよりBit-Swapが優れている。
• L=1のときBit-SwapはBB-ANSに収束し、単一層の場合の正確さを保持する。
• モデルベースの結果は、Bit-Swapと組み合わせた場合に階層的潜在変数モデルが密度推定と圧縮効率を改善することを示している。