[论文解读] Context-adaptive Entropy Model for End-to-end Optimized Image Compression

Jooyoung Lee, Seung-Hyun Cho+1 more|arXiv (Cornell University)|Sep 27, 2018

Advanced Data Compression Techniques被引用 252

一句话总结

本文提出一种上下文自适应熵模型，具有两种上下文类型（消耗比特和无比特）以提升端到端优化的图像压缩，在 PSNR 和 MS-SSIM 上超越 BPG 和 JPEG2000，达到最先进水平。

ABSTRACT

We propose a context-adaptive entropy model for use in end-to-end optimized image compression. Our model exploits two types of contexts, bit-consuming contexts and bit-free contexts, distinguished based upon whether additional bit allocation is required. Based on these contexts, we allow the model to more accurately estimate the distribution of each latent representation with a more generalized form of the approximation models, which accordingly leads to an enhanced compression performance. Based on the experimental results, the proposed method outperforms the traditional image codecs, such as BPG and JPEG2000, as well as other previous artificial-neural-network (ANN) based approaches, in terms of the peak signal-to-noise ratio (PSNR) and multi-scale structural similarity (MS-SSIM) index.

研究动机与目标

• 在速率-失真框架内，推动使用可训练的熵模型进行端到端图像压缩。
• 提出一种两上下文熵模型（消耗比特和无比特）以更好地估计潜在分布。
• 展示压缩性能相较于传统编解码器和此前的基于ANN的方法有所提升。
• 分析来自上下文的均值和方差估计如何减小潜在表示中的空间相关性。

提出的方法

• 在 Ballé 等人（2018）的熵模型基础上，整合两种上下文类型，以估计每个潜在变量的高斯先验的 mu 和 sigma。
• 使用一个四变换自编码器框架（g_a, g_s, h_a, h_s），以及一个分布估计器 f，该估计器接收连接后的上下文以生成 mu_i 和 sigma_i。
• 使用两个上下文提取器 E'（消耗比特）和 E''（无比特）来条件化分布估计器，使速率和失真可端到端优化。
• 采用速率–失真目标 L = R + lambda D 进行训练，在训练中使用均匀噪声来近似离散后量化分布。
• 在编码器和解码器之间共享熵模型参数，并为更高比特率使用轻量级混合模型，以在性能和成本之间取得平衡。
• 以 MSE 和 MS-SSIM 失真进行评估，在多种 lambda 配置下报告 PSNR 和 MS-SSIM，并与 BPG 和 JPEG2000 进行比较。

实验结果

研究问题

• RQ1 具有双上下文类型的上下文自适应熵模型是否能提高端到端图像压缩中潜在分布估计的准确性？
• RQ2 能否从无比特和消耗比特上下文同时估计 mu 和 sigma 以减少空间相关性并改善速率-失真性能？
• RQ3 所提出的框架在 PSNR 和 MS-SSIM 上与传统编解码器（BPG、JPEG2000）及先前基于 ANN 的方法相比如何？
• RQ4 在优化速率-失真时，模型容量和上下文级别的实际权衡是什么？

主要发现

• 所提出的上下文自适应熵模型在 PSNR 和 MS-SSIM 上优于 BPG 和 JPEG2000。
• 相对于 JPEG2000、Ballé 等人（2018）和 BPG 的 PSNR BD-利得分别为 34.08%、11.97% 和 6.85%。
• 相对于 JPEG2000、Ballé 等人（2018）和 BPG 的 MS-SSIM BD-利得分别为 68.82%、13.93% 和 49.68%。
• 从无比特和消耗比特上下文同时估计 mu 和 sigma 比仅估计 sigma 更有效地减少潜在表示中的空间相关性。
• 该框架在基于 ANN 的方法中达到最先进的性能，并在两个主要指标上超过传统编解码器。