[论文解读] Learning Convolutional Networks for Content-weighted Image Compression

Mu Li, Wangmeng Zuo+3 more|arXiv (Cornell University)|Mar 30, 2017

Advanced Data Compression Techniques参考文献 21被引用 21

一句话总结

本文提出一种基于CNN的图像压缩框架，利用可学习的重要程度图实现卷积神经网络中空间可变的比特分配。通过使用重要程度图的总和替代离散熵估计进行率控，以及使用可微分代理函数替代二值化操作，该方法实现了无需在优化过程中显式进行熵编码的端到端训练，在低比特率下相比JPEG和JPEG 2000实现了更优的SSIM和视觉质量。

ABSTRACT

Lossy image compression is generally formulated as a joint rate-distortion optimization to learn encoder, quantizer, and decoder. However, the quantizer is non-differentiable, and discrete entropy estimation usually is required for rate control. These make it very challenging to develop a convolutional network (CNN)-based image compression system. In this paper, motivated by that the local information content is spatially variant in an image, we suggest that the bit rate of the different parts of the image should be adapted to local content. And the content aware bit rate is allocated under the guidance of a content-weighted importance map. Thus, the sum of the importance map can serve as a continuous alternative of discrete entropy estimation to control compression rate. And binarizer is adopted to quantize the output of encoder due to the binarization scheme is also directly defined by the importance map. Furthermore, a proxy function is introduced for binary operation in backward propagation to make it differentiable. Therefore, the encoder, decoder, binarizer and importance map can be jointly optimized in an end-to-end manner by using a subset of the ImageNet database. In low bit rate image compression, experiments show that our system significantly outperforms JPEG and JPEG 2000 by structural similarity (SSIM) index, and can produce the much better visual result with sharp edges, rich textures, and fewer artifacts.

研究动机与目标

• 解决端到端CNN图像压缩中不可微分量化和离散熵估计的挑战。
• 通过学习反映局部图像内容复杂度的重要程度图，实现空间可变的比特分配。
• 用基于重要程度图总和的连续代理函数替代传统熵率估计，实现率控。
• 开发一种基于代理函数的可微分二值化方案，使反向传播能够通过量化步骤。
• 通过内容感知的比特分配保留边缘和纹理，提升低比特率压缩下的视觉质量。

提出的方法

• 卷积编码器从输入图像生成特征图，随后由独立的重要程度图网络处理，生成空间可变的重要程度图。
• 重要程度图决定每个空间位置上编码的特征图数量，实现内容自适应的比特分配。
• 二值化器将大于0.5的值设为1，其余设为0，反向传播中使用代理函数使该操作可微。
• 重要程度图的总和作为总比特率的连续、可微分近似，替代损失函数中的离散熵估计。
• 在量化后应用卷积熵编码器，利用上下文建模进一步压缩二进制码和重要程度图。
• 整个系统在ImageNet的一个子集上进行端到端训练，损失函数中不包含显式的熵率项，完全依赖重要程度图进行率控。

实验结果

研究问题

• RQ1 可学习的重要程度图是否能有效替代CNN图像压缩中的离散熵估计？
• RQ2 由内容感知重要程度图引导的空间可变比特分配如何影响率失真性能和视觉质量？
• RQ3 可微分代理函数是否能实现具有不可微分量化步骤的二值化压缩系统的端到端训练？
• RQ4 在训练期间不显式使用熵编码时，当使用独立的熵编码器，压缩效率会受到多大程度的影响？
• RQ5 模型学习到的重要程度图在比特分配上与人类视觉感知的匹配程度如何，特别是在边缘和纹理区域？

主要发现

• 所提方法在低比特率下显著优于JPEG和JPEG 2000的结构相似性（SSIM），并可测量提升视觉质量。
• 与JPEG 2000和Ballé [1]相比，该模型产生更锐利的边缘、更丰富的纹理，且减少模糊、振铃和方块效应等伪影。
• 不使用重要程度图的基线模型在MSE、PSNR和SSIM指标上均劣于JPEG 2000，证明了重要程度图的必要性。
• 重要程度图在低比特率下学会将更多比特分配给显著边缘，随着比特率提升，逐步覆盖中等尺度和小尺度纹理，与人类感知一致。
• 卷积熵编码器在使用较大上下文时，性能优于标准CABAC（小上下文），并进一步提升率失真性能。
• 即使仅编码二进制码或重要程度图，完整模型同时使用两者的性能最佳，证实了两者互补的作用。