[论文解读] Learning Accurate Entropy Model with Global Reference for Image Compression

Yichen Qian, Zhiyu Tan+6 more|arXiv (Cornell University)|Oct 16, 2020

Advanced Image Processing Techniques参考文献 22被引用 35

一句话总结

引入一种基于全局参考的熵模型以及平均值偏移的 GDN（GSDN），以提升学习图像压缩的率失真性能。证明将局部上下文、全局参考与超先验结合可在标准基准上达到最先进的结果。

ABSTRACT

In recent deep image compression neural networks, the entropy model plays a critical role in estimating the prior distribution of deep image encodings. Existing methods combine hyperprior with local context in the entropy estimation function. This greatly limits their performance due to the absence of a global vision. In this work, we propose a novel Global Reference Model for image compression to effectively leverage both the local and the global context information, leading to an enhanced compression rate. The proposed method scans decoded latents and then finds the most relevant latent to assist the distribution estimating of the current latent. A by-product of this work is the innovation of a mean-shifting GDN module that further improves the performance. Experimental results demonstrate that the proposed model outperforms the rate-distortion performance of most of the state-of-the-art methods in the industry.

研究动机与目标

• 激发并解决在学习图像压缩中潜在表示中的非局部空间冗余。
• 开发一个全局参考模块，以增强熵建模中的局部上下文和超先验。
• 引入 GSDN 来校正 GDN 中的均值偏移并改善潜在分布的一致性。
• 证明所提出的联合模型在 RD（rate-distortion）方面相较于现有最先进的编解码器和基于学习的方法具有提升。

提出的方法

• 在基于自编码器的图像压缩框架中扩展一个将局部上下文、全局参考和超先验融合在一起的联合熵模型。
• 将每个潜在变量建模为高斯分布，其均值和尺度参数条件于先前特征，并加上一个超先验项（p_hat_y），如前人工作所述。
• 实现一个基于参考的模块，搜索解码后的潜在变量（掩蔽补丁），利用余弦相似度和置信图 U 为参考加权，以为每个目标潜在变量找到相关潜在变量。
• 使用广义减法与除法归一化（GSDN）来替代 GDN，纠正潜在分布中的均值偏移问题，并在解码时实现可逆性。
• 将局部、全局和超先验特征逐阶段地组合，以逐步细化高斯参数（mu、sigma）。
• 使用率失真目标进行训练，探索 MSE 和 MS-SSIM 的失真，并与 BPG/JPEG 和先前的学习方法进行比较。

实验结果

研究问题

• RQ1 全局参考机制是否能够通过利用潜在表示中的非局部空间冗余来提升熵估计？
• RQ2 将全局参考与局部上下文和超先验结合，是否能在学习图像压缩中超越仅使用上下文或仅基于超先验的熵模型？
• RQ3 用 GSDN 取代 GDN 对潜在变量分布和整体压缩性能有什么影响？
• RQ4 在不同失真度量（MSE 与 MS-SSIM）和比特率下，所提参考模块的表现如何？
• RQ5 在提供相对于最先进方法的 RD 增益的同时，所提出的联合模型在复杂度方面是否具备可扩展性？

主要发现

• 全模型在 Kodak 等基准及其他基准上的 PSNR 和 MS-SSIM 的 RD 性能超过了最先进的编解码器和基于学习的方法。
• 在低比特率下，添加全局参考相对于仅上下文模型实现了 5.3% 的码率节省。
• 融入置信图 U 进一步提升了参考模型的性能。
• 用所提出的 GSDN 替换 GDN 再带来大约 2.0% 的码率节省。
• 在低比特率下，该方法相对于 BPG 实现高达 21% 的 BD-rate 节省。
• 在不增加总体模型复杂度的情况下，结合局部上下文、全局参考和超先验可实现渐进式改善。