[论文解读] Gated Context Model with Embedded Priors for Deep Image Compression

Haojie Liu, Tong Chen+3 more|arXiv (Cornell University)|Feb 27, 2019

Image and Signal Denoising Methods参考文献 20被引用 8

一句话总结

该论文提出了一种带有嵌入先验的门控上下文模型，用于深度图像压缩，通过可分离堆栈消除感受野盲区，并引入信息补偿网络以提升重建质量。在Kodak数据集上，使用MS-SSIM作为失真度量标准时，该方法在所有比特率下均优于JPEG、JPEG2000、BPG以及先前的基于学习的方法，实现了当前最优的率失真性能。

ABSTRACT

A deep image compression scheme is proposed in this paper, offering the state-of-the-art compression efficiency, against the traditional JPEG, JPEG2000, BPG and those popular learning based methodologies. This is achieved by a novel conditional probably model with embedded priors which can accurately approximate the entropy rate for rate-distortion optimization. It utilizes three separable stacks to eliminate the blind spots in the receptive field for better probability prediction and computation reduction. Those embedded priors can be further used to help the image reconstruction when fused with latent features, after passing through the proposed information compensation network (ICN). Residual learning with generalized divisive normalization (GDN) based activation is used in our encoder and decoder with fast convergence rate and efficient performance. We have evaluated our model and other methods using rate-distortion criteria, where distortion is measured by multi-scale structural similarity (MS-SSIM). We have also discussed the impacts of various distortion metrics on the reconstructed image quality. Besides, a field study on perceptual quality is also given via a dedicated subjective assessment, to compare the efficiency of our proposed methods and other conventional image compression methods.

研究动机与目标

• 为解决传统图像压缩方法（如JPEG和JPEG2000）的性能瓶颈，这些方法依赖于固定的线性变换和有限的预测模式。
• 通过引入带有嵌入先验和门控机制的条件概率模型，改进基于深度学习的压缩中的熵率估计。
• 通过信息补偿网络（ICN）将超先验与潜在特征融合，以提升图像重建质量。
• 评估不同失真度量标准（如MS-SSIM、SSIM、MSE以及基于VGG的特征）对端到端学习框架中率失真效率的影响。
• 通过DSIS变体进行主观质量评估，以验证在低比特率下感知质量的优越性。

提出的方法

• 采用带有三个可分离堆栈的门控上下文模型，消除感受野中的盲区，提升概率预测能力并降低计算量。
• 引入嵌入先验作为潜在向量z，将条件概率密度p(x|z)建模为高斯尺度混合分布，以实现精确的熵率估计。
• 在编码器和解码器中使用残差学习与广义除法归一化（GDN），以加快收敛速度并实现高效的特征学习，替代批量归一化。
• 应用信息补偿网络（ICN）对超先验z进行变换，并将其与潜在表征融合，以提升重建质量。
• 在训练过程中使用软到硬量化并结合梯度近似，推理时采用直接四舍五入，以保持可微性。
• 通过率失真优化（RDO）进行模型优化，其中率R以比特为单位衡量，失真D通过MS-SSIM评估，使用权衡参数λ。

实验结果

研究问题

• RQ1 带有嵌入先验的门控上下文模型是否能提升熵率估计，并在率失真性能上优于现有基于学习的方法？
• RQ2 可分离堆栈如何减少感受野中的盲区，并提升深度图像压缩中的概率预测能力？
• RQ3 当通过信息补偿网络融合时，嵌入先验在多大程度上能提升图像重建质量？
• RQ4 不同的失真度量标准（如MS-SSIM、PSNR以及基于VGG的特征）如何影响学习型压缩模型的感知质量和率失真效率？
• RQ5 与BPG和JPEG2000等传统编码器相比，该方法在低比特率下的感知质量如何？主观评估结果如何验证其优势？

主要发现

• 在Kodak数据集上，该方法在所有比特率下均实现了当前最优的压缩效率，优于JPEG、JPEG2000、BPG以及先前的基于学习的方法，使用MS-SSIM和实际比特率进行评估。
• 通过DSIS变体进行的主观评估表明，该方法在低比特率（≤0.5 bpp）下仍能保持高感知质量，与其它方法相比，颜色失真、方块效应或过度平滑现象极少。
• 在极低比特率（≤0.2 bpp）下，该方法生成了高质量且视觉上一致的重建图像，而其他方法则表现出严重的视觉退化。
• 在高比特率下，BPG和JPEG2000在PSNR指标上优于该方法，表明MS-SSIM在高码率保真度优化中不如PSNR有利。
• 研究证实，MS-SSIM在低比特率下有效保持了感知质量，但同时也凸显了需要一种能在整个比特率范围内平衡保真度的失真度量标准。
• 使用GDN激活函数结合残差学习，实现了快速收敛和高效性能，支持该模型在实际部署中的潜力。