[论文解读] G-VAE: A Continuously Variable Rate Deep Image Compression Framework

Ze Cui, Jing Wang+3 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Data Compression Techniques参考文献 30被引用 26

一句话总结

G-VAE 是一种新颖的深度图像压缩框架，通过在编码器输出端和解码器输入端各添加两个增益单元，仅以极小的修改即可实现在单一模型中的连续可变码率编码。这种极简的修改在保持原始模型性能的同时，实现了高效的压缩性能，在Kodak数据集上的PSNR和MS-SSIM指标上优于以往方法，且计算和参数开销可忽略不计。

ABSTRACT

Rate adaption of deep image compression in a single model will become one of the decisive factors competing with the classical image compression codecs. However, until now, there is no perfect solution that neither increases the computation nor affects the compression performance. In this paper, we propose a novel image compression framework G-VAE (Gained Variational Autoencoder), which could achieve continuously variable rate in a single model. Unlike the previous solutions that encode progressively or change the internal unit of the network, G-VAE only adds a pair of gain units at the output of encoder and the input of decoder. It is so concise that G-VAE could be applied to almost all the image compression methods and achieve continuously variable rate with negligible additional parameters and computation. We also propose a new deep image compression framework, which outperforms all the published results on Kodak datasets in PSNR and MS-SSIM metrics. Experimental results show that adding a pair of gain units will not affect the performance of the basic models while endowing them with continuously variable rate.

研究动机与目标

• 解决深度图像压缩中码率自适应的问题，同时不增加计算成本或降低性能。
• 开发一个统一的框架，使单一训练模型能够支持连续可变的比特率。
• 将架构修改最小化，以确保与现有深度压缩模型的广泛兼容性。
• 在标准基准测试（如Kodak）上实现最先进性能，同时不牺牲压缩效率。
• 实现在需要灵活比特率控制的动态网络环境中深度压缩的实际部署。

提出的方法

• 引入一对可学习的增益单元——一个位于编码器输出端，一个位于解码器输入端——以实现连续的码率控制。
• 利用增益单元对编码和解码过程中的潜在表示进行缩放，实现平滑的比特率调节。
• 使用标准变分自编码器目标端到端训练整个框架，保持原始模型的架构不变。
• 确保增益单元可微分，从而在训练过程中支持基于梯度的优化。
• 将该框架应用于现有深度压缩模型，仅进行极小的架构修改，且参数增加可忽略不计。
• 在保持原始模型压缩性能的同时，增加了可变码率编码的能力。

实验结果

研究问题

• RQ1 是否可以通过极小的架构修改，实现在深度图像编解码器中的连续可变码率压缩？
• RQ2 添加增益单元是否会影响基础模型的压缩性能？
• RQ3 所提出的框架是否能在Kodak等标准基准测试上超越现有最先进方法？
• RQ4 将增益单元集成到现有模型中的计算和参数开销如何？
• RQ5 该框架如何在广泛的比特率范围内保持性能稳定？

主要发现

• G-VAE 仅需每模型增加两个可学习参数，即可实现连续可变码率的图像压缩。
• 增益单元的添加并未在任何比特率下降低基础模型的压缩性能。
• 该框架在Kodak数据集上实现了最先进性能，所有已发表方法在PSNR和MS-SSIM指标上均被超越。
• 该方法的计算和参数开销可忽略不计，适用于实际部署。
• 增益单元实现了平滑的比特率自适应，无需多个模型或渐进式编码阶段。
• 该框架与多种现有深度图像压缩架构具有良好的兼容性。