[论文解读] Lossy Image Compression with Normalizing Flows

Leonhard Helminger, Abdelaziz Djelouah+2 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Data Compression Techniques被引用 5

一句话总结

该论文提出了一种新颖的深度图像压缩框架，利用归一化流（normalizing flows）学习从图像到潜在空间的双射映射，实现在从低比特率到近乎无损的广泛比特率范围内的有损压缩，同时通过重新编码保持高质量。该方法通过将不可逆的信息损失推迟到可逆变换之后，优于标准的基于自编码器的压缩方法。

ABSTRACT

Deep learning based image compression has recently witnessed exciting progress and in some cases even managed to surpass transform coding based approaches that have been established and refined over many decades. However, state-of-the-art solutions for deep image compression typically employ autoencoders which map the input to a lower dimensional latent space and thus irreversibly discard information already before quantization. Due to that, they inherently limit the range of quality levels that can be covered. In contrast, traditional approaches in image compression allow for a larger range of quality levels. Interestingly, they employ an invertible transformation before performing the quantization step which explicitly discards information. Inspired by this, we propose a deep image compression method that is able to go from low bit-rates to near lossless quality by leveraging normalizing flows to learn a bijective mapping from the image space to a latent representation. In addition to this, we demonstrate further advantages unique to our solution, such as the ability to maintain constant quality results through re-encoding, even when performed multiple times. To the best of our knowledge, this is the first work to explore the opportunities for leveraging normalizing flows for lossy image compression.

研究动机与目标

• 为解决当前最先进的基于自编码器的图像压缩方法中存在的质量范围有限问题，该方法在量化之前不可逆地丢弃信息。
• 探索可逆归一化流在有损图像压缩中的潜力，受传统方法的启发，即在量化之前使用可逆变换。
• 通过单一学习模型实现从低比特率到近乎无损压缩的连续质量等级范围。
• 在多次重编码操作中保持一致的图像质量，这是现有深度压缩方法中不常见的特性。

提出的方法

• 利用归一化流学习从图像空间到潜在表示的双射（可逆且可微）映射。
• 仅在可逆变换之后应用量化，从而保留了从潜在码重建原始图像的能力。
• 使用归一化流架构对潜在空间中的复杂、灵活分布进行建模，实现高保真压缩。
• 采用基于似然的目标函数进行训练，同时优化压缩效率和重建质量。
• 引入可微量化步骤，支持整个压缩流程的端到端训练。
• 通过调整潜在空间中的比特率，实现可变质量等级，无需使用独立模型。

实验结果

研究问题

• RQ1 归一化流能否有效用于实现从低比特率到近乎无损的连续质量等级范围的有损图像压缩？
• RQ2 与标准的基于自编码器的方法相比，在量化之前使用可逆变换如何影响压缩性能和重建质量？
• RQ3 所提出的方法是否能像传统自编码器方法那样，在多次重编码操作中保持一致的图像质量？
• RQ4 在压缩流程中使用归一化流时，压缩效率与重建保真度之间的权衡关系如何？

主要发现

• 所提方法在广泛比特率范围内实现了具有竞争力或更优的率失真性能，包括近乎无损质量。
• 它在多次重编码操作中保持了稳定的图像质量，这是相对于标准自编码器模型的独特优势。
• 使用归一化流使得比特率范围内的质量等级可实现连续且灵活的缩放，而无需为不同质量等级配置独立架构。
• 该方法通过将不可逆信息损失推迟到可逆变换之后，优于标准自编码器基压缩方法，从而保留了更多的表征能力。