[论文解读] Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation

Ze Cui, Jing Wang+4 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Data Compression Techniques被引用 9

一句话总结

该论文提出 AG-VAE，一种深度图像压缩框架，通过增益单元和指数插值实现单一模型中的连续码率自适应，以极低的计算开销实现了最先进的率失真性能。该方法引入了非对称高斯熵模型以提升熵估计性能，在 PSNR 和 MS-SSIM 上均优于对称模型。

ABSTRACT

With the development of deep learning techniques, the combination of deep learning with image compression has drawn lots of attention. Recently, learned image compression methods had exceeded their classical counterparts in terms of rate-distortion performance. However, continuous rate adaptation remains an open question. Some learned image compression methods use multiple networks for multiple rates, while others use one single model at the expense of computational complexity increase and performance degradation. In this paper, we propose a continuously rate adjustable learned image compression framework, Asymmetric Gained Variational Autoencoder (AG-VAE). AG-VAE utilizes a pair of gain units to achieve discrete rate adaptation in one single model with a negligible additional computation. Then, by using exponential interpolation, continuous rate adaptation is achieved without compromising performance. Besides, we propose the asymmetric Gaussian entropy model for more accurate entropy estimation. Exhaustive experiments show that our method achieves comparable quantitative performance with SOTA learned image compression methods and better qualitative performance than classical image codecs. In the ablation study, we confirm the usefulness and superiority of gain units and the asymmetric Gaussian entropy model.

研究动机与目标

• 解决在不增加计算成本或降低性能的前提下，学习型图像压缩中连续码率自适应的挑战。
• 克服多个固定码率模型的局限性，后者会增加训练成本和内存占用。
• 开发一种即插即用的码率自适应解决方案，兼容多种基于 VAE 的架构。
• 通过非对称高斯模型提升非对称潜在分布的熵估计精度。
• 在无需额外训练或模块的情况下，实现在连续码率范围内的无缝码率控制。

提出的方法

• 引入增益单元，通过通道级乘法对潜在表征进行缩放，实现计算开销可忽略的离散码率自适应。
• 在解码器前应用反向增益单元，以保持重建质量并避免性能下降。
• 推导出指数插值公式，以在任意码率下生成连续的增益向量，实现无需重训练的平滑码率控制。
• 提出非对称高斯熵模型，以更准确估计非高斯、偏斜的潜在分布的熵。
• 将增益单元集成到现有的基于 VAE 的框架中（例如 Ballé 等 [7]、Minnen 等 [20]），以验证其通用性和性能。
• 采用基于超先验的熵建模，并通过 HCVR 方法实现灵活的超先验码率控制，以提升熵估计精度。

实验结果

研究问题

• RQ1 单一学习型图像压缩模型是否能在不造成性能下降或额外训练的情况下实现连续码率自适应？
• RQ2 增益单元机制在实现低计算成本的离散与连续码率自适应方面效果如何？
• RQ3 与对称模型相比，非对称高斯熵模型是否能提升率失真性能？
• RQ4 所提出的框架是否能在多种码率下保持或超越多个固定码率模型的性能？
• RQ5 指数插值如何在保持重建保真度的同时实现连续码率控制？

主要发现

• AG-VAE 框架在率失真性能上与最先进的学习型图像压缩方法相当，PSNR 和 MS-SSIM 结果与多个固定码率模型相当。
• 指数插值实现了在整个码率范围内的连续码率自适应，无需额外训练或模型微调。
• 非对称高斯熵模型提升了压缩性能，AG-VAE 在整个测试范围内均优于其对称版本（SG-VAE），在 PSNR 和 MS-SSIM 上表现更优。
• HCVR 方法实现了灵活的超先验码率控制，在所有码率下均略优于 CVR 方法的率失真性能。
• 增益单元机制表现出强大的通用性，当集成到 Ballé 等 [7] 和 Minnen 等 [20] 的骨干架构中时，能有效实现连续码率自适应。
• 消融实验确认，增益单元与非对称高斯模型对最优性能均至关重要，显著提升了视觉质量和率失真效率。