[论文解读] A Cross Channel Context Model for Latents in Deep Image Compression

Changyue Ma, Wang Zhao+2 more|arXiv (Cornell University)|Mar 4, 2021

Advanced Data Compression Techniques参考文献 31被引用 11

一句话总结

该论文提出了一种跨通道上下文模型，通过将潜在通道分组并利用先前编码的组为当前组编码提供上下文，从而在仅使用空间2D卷积的基础上显著提升相关性建模能力。在Kodak和CVPR CLIC2020数据集上，该方法在PSNR指标下分别实现6.30%和6.31%的BD-rate降低，相较于VVC标准分别降低2.50%和2.20%，且在MS-SSIM优化下视觉质量更优。

ABSTRACT

This paper presents a cross channel context model for latents in deep image compression. Generally, deep image compression is based on an autoencoder framework, which transforms the original image to latents at the encoder and recovers the reconstructed image from the quantized latents at the decoder. The transform is usually combined with an entropy model, which estimates the probability distribution of the quantized latents for arithmetic coding. Currently, joint autoregressive and hierarchical prior entropy models are widely adopted to capture both the global contexts from the hyper latents and the local contexts from the quantized latent elements. For the local contexts, the widely adopted 2D mask convolution can only capture the spatial context. However, we observe that there are strong correlations between different channels in the latents. To utilize the cross channel correlations, we propose to divide the latents into several groups according to channel index and code the groups one by one, where previously coded groups are utilized to provide cross channel context for the current group. The proposed cross channel context model is combined with the joint autoregressive and hierarchical prior entropy model. Experimental results show that, using PSNR as the distortion metric, the combined model achieves BD-rate reductions of 6.30% and 6.31% over the baseline entropy model, and 2.50% and 2.20% over the latest video coding standard Versatile Video Coding (VVC) for the Kodak and CVPR CLIC2020 professional dataset, respectively. In addition, when optimized for the MS-SSIM metric, our approach generates visually more pleasant reconstructed images.

研究动机与目标

• 解决深度图像压缩潜在表示中通道间相关性利用不足的问题。
• 通过捕捉超越2D掩码卷积空间上下文的跨通道依赖关系，改进熵建模。
• 将跨通道上下文与现有的联合自回归和分层先验模型相结合，以提升压缩效率。
• 在PSNR和MS-SSIM两个指标下均实现标准基准上的最先进性能。
• 通过基于MS-SSIM的优化，生成视觉质量更优的重建图像。

提出的方法

• 基于通道索引将潜在特征划分为组，并按顺序编码，以实现跨通道上下文建模。
• 对于每组，先前编码的组通过学习的自回归模型提供上下文，从而实现对长程通道间依赖关系的建模。
• 将跨通道上下文与来自2D掩码卷积的局部空间上下文相结合，形成混合上下文模型。
• 将该模型集成到CompressAI框架中的cheng2020-attn架构中，实现端到端训练与评估。
• 与3D掩码卷积基线进行比较，以展示其在捕捉有意义的跨通道相关性方面的局限性。
• 该方法采用串行的、分组的自回归结构，其中每组的熵模型依赖于所有先前的组。

实验结果

研究问题

• RQ1 能否在超越空间上下文的基础上，有效建模深度图像压缩潜在表示中的通道间相关性？
• RQ2 与标准2D或3D掩码卷积相比，采用跨通道上下文的顺序分组编码是否能提升压缩效率？
• RQ3 在PSNR指标下，该模型能否在BD-rate方面超越最新的视频编码标准VVC？
• RQ4 基于MS-SSIM的优化是否能通过该模型生成更具视觉吸引力的重建图像？
• RQ5 该模型的复杂度与基线及3D卷积基线相比如何？

主要发现

• 在Kodak数据集上，该方法在PSNR指标下相较于基线熵模型实现6.30%的BD-rate降低。
• 在CVPR CLIC2020专业数据集上，该方法在PSNR指标下相较于基线实现6.31%的BD-rate降低。
• 在PSNR指标下，该方法在Kodak和CVPR CLIC2020数据集上分别相较于VVC实现2.50%和2.20%的BD-rate降低。
• 在MS-SSIM优化下，该方法生成的重建图像视觉上更愉悦，尤其在纹理保留和伪影减少方面表现更优。
• 主观评价显示，该模型在复杂纹理（如金色球体、云朵）中表现出更优的细节保留能力，优于JPEG、JPEG2000、BPG和VVC。
• 与基线相比，该模型的编码时间增加2.45倍，解码时间增加3.77倍，模型大小增加1.35倍。