[论文解读] Learning Context-Based Non-local Entropy Modeling for Image Compression

Mu Li, Kai Zhang+3 more|arXiv (Cornell University)|May 10, 2020

Advanced Data Compression Techniques参考文献 46被引用 5

一句话总结

本文提出了一种基于上下文的非局部熵建模方法，用于深度图像压缩，通过在潜在码中利用非局部注意力模块捕捉全局相似性，从而提升率失真性能。通过引入代理相似性函数和空间掩码以解决缺失参考问题，并在掩码卷积神经网络中结合局部与全局上下文信息，实现更优的熵估计。该方法进一步在变换网络中采用类似U-Net的模块，高效提升通道宽度，从而在Kodak和Tecnick数据集上实现最先进性能，尤其在低失真水平下表现优异。

ABSTRACT

The entropy of the codes usually serves as the rate loss in the recent learned lossy image compression methods. Precise estimation of the probabilistic distribution of the codes plays a vital role in the performance. However, existing deep learning based entropy modeling methods generally assume the latent codes are statistically independent or depend on some side information or local context, which fails to take the global similarity within the context into account and thus hinder the accurate entropy estimation. To address this issue, we propose a non-local operation for context modeling by employing the global similarity within the context. Specifically, we first introduce the proxy similarity functions and spatial masks to handle the missing reference problem in context modeling. Then, we combine the local and the global context via a non-local attention block and employ it in masked convolutional networks for entropy modeling. The entropy model is further adopted as the rate loss in a joint rate-distortion optimization to guide the training of the analysis transform and the synthesis transform network in transforming coding framework. Considering that the width of the transforms is essential in training low distortion models, we finally produce a U-Net block in the transforms to increase the width with manageable memory consumption and time complexity. Experiments on Kodak and Tecnick datasets demonstrate the superiority of the proposed context-based non-local attention block in entropy modeling and the U-Net block in low distortion compression against the existing image compression standards and recent deep image compression models.

研究动机与目标

• 解决现有基于深度学习的熵模型仅依赖局部或独立上下文的局限性，无法捕捉潜在码中的全局相似性。
• 通过引入代理相似性函数和空间掩码，解决非局部上下文建模中的缺失参考问题。
• 通过在掩码卷积神经网络中引入非局部注意力模块，融合局部与全局上下文表征，提升熵估计精度。
• 通过设计一种内存与时间效率高的U-Net模块用于分析与合成变换，减少信息损失并提升低失真压缩性能。
• 通过联合优化率与失真，并利用学习到的熵模型作为率损失，实现图像压缩的最先进性能。

提出的方法

• 引入代理相似性函数，用于估计潜在码特征之间的全局相似性，实现在无直接参考情况下的非局部上下文建模。
• 采用空间掩码以抑制无关区域，提升非局部计算过程中的注意力聚焦能力。
• 设计一种非局部注意力模块，融合来自掩码卷积的局部上下文与基于相似性的全局上下文，以增强熵建模能力。
• 将非局部注意力模块集成到掩码卷积神经网络架构中，用于建模潜在码的条件概率分布。
• 在分析与合成变换中引入类似U-Net的模块，以高效提升网络宽度，降低内存与时间复杂度。
• 在联合率失真优化中使用学习到的熵模型作为率损失，以端到端方式训练完整的图像压缩框架。

实验结果

研究问题

• RQ1 潜在码中的全局相似性是否可被有效利用，以超越仅依赖局部上下文建模的熵估计性能？
• RQ2 在深度图像压缩中，如何解决非局部上下文建模中的缺失参考问题？
• RQ3 通过非局部注意力模块融合局部与全局上下文，是否能带来更优的熵建模与压缩性能？
• RQ4 在变换网络中采用类似U-Net的模块，是否能在可控计算成本下实现更高网络宽度，从而提升低失真压缩性能？
• RQ5 所提方法在率失真性能方面，相较于现有图像压缩标准与深度学习模型，优势程度如何？

主要发现

• 所提出的基于上下文的非局部熵模型显著优于基于CCN的模型，在14组码本上平均减少15%的比特数。
• 在Kodak数据集上，模型在0.25 bpp时达到34.82 dB的PSNR，优于先前最先进方法，并在高比特率下超越JPEG 2000。
• U-Net模块使网络宽度提升至64通道，且未超出GPU显存限制，而残差块在完整图像上无法运行。
• 基于U-Net的变换比残差结构快2.5倍，GPU显存消耗降低40%，同时保持相近的PSNR性能。
• 非局部注意力机制在高层码平面表现占优，因局部上下文本身因表征不足而失效。
• 针对MS-SSIM优化的模型在结构保持方面优于MSE优化模型，表明其具备更优的感知质量。