[论文解读] Learning Content-Weighted Deep Image Compression

Mu Li, Wangmeng Zuo+3 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Data Compression Techniques参考文献 40被引用 5

一句话总结

本文提出了一种内容加权的深度图像压缩框架（CWIC），通过可学习的重要程度图子网络实现空间自适应的比特分配，在低比特率下提升了视觉质量。通过用基于重要程度掩码的率控替代传统熵估计，并采用剪枝卷积网络进行上下文感知的熵建模，CWIC在PSNR和MS-SSIM指标上均达到当前最优性能，尤其在保留显著图像结构方面表现优异。

ABSTRACT

Learning-based lossy image compression usually involves the joint optimization of rate-distortion performance. Most existing methods adopt spatially invariant bit length allocation and incorporate discrete entropy approximation to constrain compression rate. Nonetheless, the information content is spatially variant, where the regions with complex and salient structures generally are more essential to image compression. Taking the spatial variation of image content into account, this paper presents a content-weighted encoder-decoder model, which involves an importance map subnet to produce the importance mask for locally adaptive bit rate allocation. Consequently, the summation of importance mask can thus be utilized as an alternative of entropy estimation for compression rate control. Furthermore, the quantized representations of the learned code and importance map are still spatially dependent, which can be losslessly compressed using arithmetic coding. To compress the codes effectively and efficiently, we propose a trimmed convolutional network to predict the conditional probability of quantized codes. Experiments show that the proposed method can produce visually much better results, and performs favorably in comparison with deep and traditional lossy image compression approaches.

研究动机与目标

• 为解决现有深度图像压缩模型中空间不变比特分配的局限性。
• 通过建模空间可变的图像内容与结构重要性，提升压缩效率。
• 用基于重要程度掩码的率控替代传统熵估计，实现更精确的率控。
• 利用先进的熵编码技术，通过更大上下文建模来捕捉量化特征中的空间依赖性。
• 通过一种新型倾斜式TCAE架构加速解码，实现可并行化的熵预测。

提出的方法

• 端到端训练一个重要程度图子网络，以预测每个图像位置的空间可变重要程度得分。
• 将重要程度图量化为离散等级，并用于生成二值重要程度掩码，以实现对特征通道的选择性编码。
• 采用可学习的通道级多级量化方法，在减少量化误差的同时实现在每个空间位置的自适应比特分配。
• 使用基于剪枝卷积网络（TCAE）的上下文模型，通过算术编码对量化码和重要程度图进行无损压缩。
• 引入一种倾斜式TCAE变体，通过基于平面的上下文结构实现符号的并行解码。
• 整个系统通过反向传播端到端训练，使用可微分代理函数处理量化和熵估计。

实验结果

研究问题

• RQ1 基于学习到的图像内容重要程度实现的空间自适应比特分配，能否提升压缩性能与视觉质量？
• RQ2 用重要程度掩码求和替代熵估计，对率控精度与压缩效率有何影响？
• RQ3 在熵编码中采用更大上下文建模，能否在保持计算可行性的同时提升压缩增益？
• RQ4 可并行化的熵编码架构是否能在不损失压缩效率的前提下实现更快的解码速度？
• RQ5 与当前最优的深度及传统图像压缩方法相比，所提方法在率失真性能与视觉质量方面表现如何？

主要发现

• 在Kodak数据集上，所提CWIC方法在0.208 bpp时达到32.69 dB的PSNR，相比Ballé等人[5]在相同比特率下高出1.28 dB。
• 在0.217 bpp时，该方法达到0.956的MS-SSIM，显著高于Ballé等人[5]的0.931，表明其在结构保留方面表现更优。
• 重要程度图有助于更好地恢复细粒度细节，如面部特征与纹理，尤其在低比特率下，如图1所示的视觉对比结果所示。
• 倾斜式TCAE通过在倾斜平面内实现符号的并行解码，使解码速度较标准TCAE提升100倍以上。
• 在单张GPU上，压缩码流的编码与解码耗时分别为0.024秒和0.032秒，表明具备实时处理可行性。
• 卷积熵预测模型[12]在重要程度等级较高时编码时间增加，表明该方法具有良好的可扩展性。