[论文解读] Improving Inference for Neural Image Compression

Yibo Yang, Robert Bamler+1 more|arXiv (Cornell University)|Jun 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 46

一句话总结

本论文在基于 VAE 的神经图像压缩中识别出三个近似差距，并提出三个相应的推理改进——混合记忆化-迭代推理、用于离散化的随机 Gumbel 退火，以及有损的 Bits-Back 编码——实现了最先进的结果。

ABSTRACT

We consider the problem of lossy image compression with deep latent variable models. State-of-the-art methods build on hierarchical variational autoencoders (VAEs) and learn inference networks to predict a compressible latent representation of each data point. Drawing on the variational inference perspective on compression, we identify three approximation gaps which limit performance in the conventional approach: an amortization gap, a discretization gap, and a marginalization gap. We propose remedies for each of these three limitations based on ideas related to iterative inference, stochastic annealing for discrete optimization, and bits-back coding, resulting in the first application of bits-back coding to lossy compression. In our experiments, which include extensive baseline comparisons and ablation studies, we achieve new state-of-the-art performance on lossy image compression using an established VAE architecture, by changing only the inference method.

研究动机与目标

• 激发使用 VAEs 的神经有损图像压缩的改进推理。
• 识别并形式化当前推理方法中的三个近似差距。
• 提出并验证解决记忆化/摊销、离散化和边缘化差距的方法。
• 在标准基准测试上展示相对于基线和消融实验的性能提升。

提出的方法

• 分析用于有损图像压缩的变分自编码器框架及其率-失真目标。
• 引入混合记忆化-迭代推理以在压缩过程中减少摊销差距。
• 开发随机 Gumbel 退火（SGA）以直接优化离散潜在表示并缩小离散化差距。
• 将 bits-back 编码扩展到有损压缩，以通过两阶段推理过程解决边缘化差距，并在解码端实现可重复的 BBVI。

实验结果

研究问题

• RQ1 在用于有损图像压缩时，常规 VAEs 的主要近似差距是什么？
• RQ2 混合记忆化-迭代推理、通过 SGA 的离散优化以及有损 bits-back 编码是否能够共同弥合这些差距并提升压缩性能？
• RQ3 这些方法在标准图像压缩基准上的表现相对于既定基线如何？

主要发现

• 所提出的方法仅通过改变推理方法，就在采用既定 VAE 架构的有损图像压缩上取得了新的最先进性能。
• SGA 关闭了离散化差距，在相同初始化的情况下，在测得方法中实现了最低的真实率失真损失。
• 混合记忆化-迭代方法在不重新训练模型的情况下，在压缩时通过优化变分参数来改进压缩。
• 有损 bits-back 编码使利用副信息成为可能，从而降低边缘化差距并改善整体的率-失真性能。
• 实验显示显著的率-失真改进，相较于以前的方法，在 Kodak 数据集上实现超过 15% 的 BD-rate 节省，在 Tecnick 数据集上超过 20% 。