[论文解读] Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules

Zhengxue Cheng, Heming Sun+2 more|arXiv (Cornell University)|Jan 6, 2020

Advanced Data Compression Techniques参考文献 26被引用 44

一句话总结

本文提出离散高斯混合似然用于熵建模以及简化的注意力模块，在学习型方法中实现最先进的码率-失真性能，并在 PSNR 上与 VVC 相当，且 MS-SSIM 视觉效果更佳。

ABSTRACT

Image compression is a fundamental research field and many well-known compression standards have been developed for many decades. Recently, learned compression methods exhibit a fast development trend with promising results. However, there is still a performance gap between learned compression algorithms and reigning compression standards, especially in terms of widely used PSNR metric. In this paper, we explore the remaining redundancy of recent learned compression algorithms. We have found accurate entropy models for rate estimation largely affect the optimization of network parameters and thus affect the rate-distortion performance. Therefore, in this paper, we propose to use discretized Gaussian Mixture Likelihoods to parameterize the distributions of latent codes, which can achieve a more accurate and flexible entropy model. Besides, we take advantage of recent attention modules and incorporate them into network architecture to enhance the performance. Experimental results demonstrate our proposed method achieves a state-of-the-art performance compared to existing learned compression methods on both Kodak and high-resolution datasets. To our knowledge our approach is the first work to achieve comparable performance with latest compression standard Versatile Video Coding (VVC) regarding PSNR. More importantly, our approach generates more visually pleasant results when optimized by MS-SSIM. This project page is at this https URL https://github.com/ZhengxueCheng/Learned-Image-Compression-with-GMM-and-Attention

研究动机与目标

• 通过改进熵建模来降低学习型图像压缩中的冗余。
• 提出一种灵活、准确的熵模型，使用离散高斯混合似然。
• 在编码器/解码器中整合轻量级注意力模块，以在不显著增加训练成本的情况下提升网络容量。
• 在标准基准数据集（Kodak、CLIC）上对比传统编解码器和先前的学习方法，展示最先进的性能。

提出的方法

• 用离散高斯混合似然来建模潜在码分布，以更好地近似真实边缘分布（p(y|z)）。
• 使用带有高斯混合的超先验框架来捕捉空间和上下文冗余。
• 在编码器/解码器中加入简化的注意力模块，以增强对复杂区域的聚焦。
• 使用结合 y 和 z 的比特以及失真项的码率-失真目标进行训练，跨多个 lambda。
• 对 y 的取值范围进行裁剪，并使用离散卷积的累积分布以实现稳定训练。
• 在标准数据集上与 JPEG、JPEG2000、HEVC/VVC 以及先前的学习方法进行比较。

实验结果

研究问题

• RQ1 离散高斯混合似然是否能提供比现有高斯/超先验方法更准确的熵模型？
• RQ2 整合注意力模块是否在不至于带来高昂训练成本的前提下改善码率-失真性能？
• RQ3 在保持或提升 MS-SSIM 质量的同时，学习压缩方法在 PSNR 性能方面能达到 VVC 的多近？
• RQ4 在使用高斯混合似然时，模型容量（N）对 RD 性能的影响如何？
• RQ5 使用所提出熵模型的学习方法是否在 Kodak 和高分辨率数据集上优于传统编解码器？

主要发现

• 高斯混合似然导致更小的尺度并更好地减小空间冗余，从而改进熵模型。
• 所提出的方法在 Kodak 和高分辨率数据集上实现了学习方法中的最先进性能。
• 该方法的 PSNR 与 VVC 相当，且在 MS-SSIM 方面优于现有方法。
• 简化的注意力模块在中等训练成本下提供性能提升，优于非注意力变体。
• 消融研究显示在不同容量设置（N）下高斯混合建模的益处。
• 表1显示 Joint 与 Ours：PSNR 33.435 vs 33.623 dB；MS-SSIM 0.980 vs 0.981；Rate 0.533 vs 0.519 bpp。