[논문 리뷰] Practical Lossless Compression with Latent Variables using Bits Back Coding

James T. Townsend, Thomas G. Bird외 1명|arXiv (Cornell University)|2019. 01. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 46

한 줄 요약

BB-ANS는 ANS를 이용한 비트 백(bit-back) 코딩으로 잠재 변수 모델에서 손실 없는 압축을 가능하게 하며, VAE를 이용한 MNIST 압축에서 음의 ELBO에 근접한 속도로 시연되었습니다.

ABSTRACT

Deep latent variable models have seen recent success in many data domains. Lossless compression is an application of these models which, despite having the potential to be highly useful, has yet to be implemented in a practical manner. We present `Bits Back with ANS' (BB-ANS), a scheme to perform lossless compression with latent variable models at a near optimal rate. We demonstrate this scheme by using it to compress the MNIST dataset with a variational auto-encoder model (VAE), achieving compression rates superior to standard methods with only a simple VAE. Given that the scheme is highly amenable to parallelization, we conclude that with a sufficiently high quality generative model this scheme could be used to achieve substantial improvements in compression rate with acceptable running time. We make our implementation available open source at https://github.com/bits-back/bits-back .

연구 동기 및 목표

• 확률적 잠재 변수 모델의 응용으로서 손실 없는 압축의 가능성을 제시한다.
• 잠재 변수를 효율적으로 다루는 실용적인 코딩 체계(BB-ANS)를 개발한다.
• VAE를 이용한 MNIST에서 근접한 ELBO 압축률을 시연한다.
• 연속 잠재 변수의 이산화와 깨끗한 시드 비트의 필요성을 다룬다.
• 병렬 가능성과 더 나은 생성 모델을 이용한 확장 가능성에 대해 강조한다.

제안 방법

• 비트 백 코딩을 도입하고 이를 음의 ELBO와 최적 코딩 비용의 등가로 간주한다.
• 전통적인 AC를 ANS로 대체하여 BB-ANS에서 매끄러운 체인 연결을 가능하게 한다.
• 사전하에서 질량이 같은 구간으로 연속 잠재 공간을 이산화하여 유한-문자집 코딩을 가능하게 한다.
• 깨끗한 비트 공급으로 BB-ANS 체인을 시드하고 데이터 포인트 간의 체인 연결을 수행하는 방법을 보여준다.
• 가우시안 사전분포와 가우시안 근사 후방분포를 갖는 VAE를 훈련하고 MNIST 픽셀에 베타-이항 출력(b beta-binomial output)을 사용한다.
• 압축 속도가 테스트 데이터에서 관찰된 음의 ELBO를 근접하게 추적함을 시연한다.

실험 결과

연구 질문

• RQ1 BB-ANS가 실용 데이터 세트에서 잠재 변수 모델에 대해 음의 ELBO에 근접한 압축 속도를 달성할 수 있는가?
• RQ2 연속 잠재 변수를 코딩 효율의 큰 손실 없이 어떻게 이산화할 수 있는가?
• RQ3 유한 정밀도, 이산화, 비정상적인 시드 비트가 BB-ANS 성능에 미치는 영향은 무엇인가?
• RQ4 MNIST에서 BB-ANS가 표준 일반 압축 알고리즘과 어떻게 비교되며, 최신 모델과 함께 어떻게 확장될 수 있는가?

주요 결과

데이터세트	원시 데이터	VAE 테스트 ELBO	BB-ANS	bz2	gzip	PNG	WebP
Binarized MNIST	1	0.19	0.19	0.25	0.33	0.78	0.44
Full MNIST	8	1.39	1.41	1.42	1.64	2.79	2.10

• BB-ANS는 간단한 VAE를 사용하여 이진화된 MNIST와 전체 MNIST 모두에서 bz2, gzip, PNG, WebP보다 우수한 속도로 데이터를 압축한다.
• BB-ANS가 달성한 압축 속도는 학습된 VAE의 음의 ELBO에 매우 근접하며(대략 1% 정도의 차이).
• 연속 잠재 변수는 무한한 정밀도까지 비트 백으로 코딩할 수 있으며 코딩 속도에 영향을 주지 않으므로 VAEs와 함께 BB-ANS를 가능하게 한다.
• 이 방법은 병렬화와 호환되며 더 고품질의 생성 모델을 사용하면 상당한 이익을 얻을 수 있다.
• 저자들은 오픈 소스 구현을 제공하며 최첨단 잠재 변수 모델과 함께 사용할 때 BB-ANS가 일반적인 압축 스킴보다 우수할 수 있다고 주장한다.