[논문 리뷰] Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables

Friso H. Kingma, Pieter Abbeel외 1명|arXiv (Cornell University)|2019. 05. 16.

Advanced Data Compression Techniques참고 문헌 35인용 수 43

한 줄 요약

Bit-Swap은 BB-ANS를 계층적 잠재 변수 모델에 일반화하고 초기 비트 오버헤드를 줄여 무손실 압축 비율을 개선하며, 기존 방법 대비 실험적으로 이득을 얻는다.

ABSTRACT

The bits-back argument suggests that latent variable models can be turned into lossless compression schemes. Translating the bits-back argument into efficient and practical lossless compression schemes for general latent variable models, however, is still an open problem. Bits-Back with Asymmetric Numeral Systems (BB-ANS), recently proposed by Townsend et al. (2019), makes bits-back coding practically feasible for latent variable models with one latent layer, but it is inefficient for hierarchical latent variable models. In this paper we propose Bit-Swap, a new compression scheme that generalizes BB-ANS and achieves strictly better compression rates for hierarchical latent variable models with Markov chain structure. Through experiments we verify that Bit-Swap results in lossless compression rates that are empirically superior to existing techniques. Our implementation is available at https://github.com/fhkingma/bitswap.

연구 동기 및 목표

• likelihood 기반 모델로 무손실 압축을 동기화하고 계층적 잠재 변수에 대한 BB-ANS의 한계를 식별한다.
• Bit-Swap을 도입하여 초기 비트 오버헤드를 줄이고 깊은 잠재 구조의 실용성을 향상시킨다.
• 표준 데이터셋에서 Bit-Swap이 BB-ANS 및 벤치마크에 비해 순 비트레이트를 더 낮게 만든다는 것을 실험적으로 보여준다.

제안 방법

• Markov 체인 구조를 가진 계층적 잠재 변수 모델에 대한 BB-ANS의 개선으로 Bit-Swap를 설명한다.
• 연관된 체인을 통한 재귀적 비트백을 활용하여 초기 비트 스트림의 필요성을 한계로 두고 감소시킨다.
• N_init^{BitSwap} ≤ N_init^{BB-ANS}를 보이고 ELBO 최적화와의 관계를 형식적으로 제시한다.
• z_L → z_{L-1} → ... → z_1 → x인 계층적 VAE에 특화하고 Markov 의존성을 가진 p_theta와 q_theta를 정의한다.
• 잠재 공간을 이산화하고 MNIST, CIFAR-10, ImageNet (32×32)에서 Bit-Swap를 BB-ANS와 비교 평가한다.
• 적분된 이동 평균 및 순 비트레이트를 보고 상쇄(amortization) 및 실용적 성능을 보여준다.

실험 결과

연구 질문

• RQ1 Bit-Swap이 계층적 잠재 변수 모델에 대해 BB-ANS와 비교하여 초기 비트 오버헤드를 줄일 수 있는가?
• RQ2 Markov 구조를 가진 계층적 잠재 변수 모델이 Bit-Swap과 함께 사용할 때 BB-ANS 및 벤치마크에 비해 더 우수한 압축 비율을 산출하는가?
• RQ3 잠재 깊이 L에 따라 Bit-Swap과 BB-ANS의 압축 효율성 및 초기 비트의 상쇄가 어떻게 달라지는가?
• RQ4 MNIST, CIFAR-10, ImageNet (32×32 스케일)에서 기존 방식과 비교할 때 Bit-Swap의 실험적 압축 성능은 어떠한가?
• RQ5 다양한 데이터셋에서 Bit-Swap 결과가 음의 ELBO에 얼마나 근접하는가?

주요 결과

• Bit-Swap은 초기 스트림 요구를 줄이고 계층적 잠재 변수 모델에서 BB-ANS보다 우수한 성능을 보인다.
• Bit-Swap의 순 비트레이트의 누적 이동 평균은 음의 ELBO에 수렴하며, 깊이 L이 증가할수록 BB-ANS보다 더 빠르게 상쇄된다.
• Bit-Swap은 MNIST, CIFAR-10, ImageNet (32×32)에서 여러 깊이에서 BB-ANS보다 더 낮은 평균 순 비트레이트를 달성한다.
• Bit-Swap은 시험 데이터에서 전통적인 무손실 코덱(Gzip, bzip2, LZMA, PNG, WebP) 및 BB-ANS를 능가한다.
• L=1일 때 Bit-Swap은 BB-ANS로 수렴하므로 단일 계층의 경우에 올바름을 보존한다.
• 모델 기반 결과는 계층적 잠재 변수 모델이 Bit-Swap과 함께 사용할 때 밀도 추정 및 압축 효율성을 향상시킨다는 것을 보여준다.