[论文解读] Modeling Lost Information in Lossy Image Compression

Yaolong Wang, Xiao Ming-qing+3 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Data Compression Techniques参考文献 31被引用 19

一句话总结

本文提出了一种新型框架——可逆有损压缩（ILC），通过使用可逆编码模块显式捕捉并存储辅助潜在变量中的高频细节，对图像压缩过程中的丢失信息进行建模。通过训练该潜在变量使其服从高斯分布，并在重建时使用采样值，ILC 在不增加比特率的前提下，相比基线自编码器方法，重建质量最高提升 0.4 dB PSNR。

ABSTRACT

Lossy image compression is one of the most commonly used operators for digital images. Most recently proposed deep-learning-based image compression methods leverage the auto-encoder structure, and reach a series of promising results in this field. The images are encoded into low dimensional latent features first, and entropy coded subsequently by exploiting the statistical redundancy. However, the information lost during encoding is unfortunately inevitable, which poses a significant challenge to the decoder to reconstruct the original images. In this work, we propose a novel invertible framework called Invertible Lossy Compression (ILC) to largely mitigate the information loss problem. Specifically, ILC introduces an invertible encoding module to replace the encoder-decoder structure to produce the low dimensional informative latent representation, meanwhile, transform the lost information into an auxiliary latent variable that won't be further coded or stored. The latent representation is quantized and encoded into bit-stream, and the latent variable is forced to follow a specified distribution, i.e. isotropic Gaussian distribution. In this way, recovering the original image is made tractable by easily drawing a surrogate latent variable and applying the inverse pass of the module with the sampled variable and decoded latent features. Experimental results demonstrate that with a new component replacing the auto-encoder in image compression methods, ILC can significantly outperform the baseline method on extensive benchmark datasets by combining with the existing compression algorithms.

研究动机与目标

• 为解决有损压缩中图像重建的病态问题，即不可逆的信息丢失阻碍高质量恢复。
• 在编码过程中显式建模并保留丢失信息的统计特性，特别是高频分量。
• 用可逆编码模块替代标准自编码器结构，保持完全可逆性，并实现可追踪的重建。
• 通过从预训练教师模型蒸馏知识，加速训练并提升重建保真度，从而改善率失真性能。
• 证明显式建模丢失信息可带来显著的 PSNR 提升，尤其在低比特率下效果更明显。

提出的方法

• 用保持与输入图像相同维度的可逆编码模块（IEM）替代标准自编码器，实现完全可逆性。
• 将 IEM 的输出分为两部分：y（压缩的潜在表示）和 z（存储丢失信息的辅助潜在变量）。
• 仅对 y 进行熵编码，而将 z 建模为各向同性高斯分布，以支持重建时的采样。
• 利用预训练教师模型提供软标签进行知识蒸馏，加速训练并提升表示质量。
• 通过使用解码后的 y 和从学习到的高斯分布中采样的 z，对 IEM 执行反向传播以重建原始图像。
• 应用分布匹配损失，促使 z 遵循标准高斯分布，确保重建过程中采样稳定且有意义。

实验结果

研究问题

• RQ1 在有损图像压缩过程中显式建模丢失信息，是否能提升重建质量？
• RQ2 用可逆编码模块替代自编码器是否能获得优于标准自编码器方法的率失真性能？
• RQ3 从预训练教师模型中进行知识蒸馏，能否有效指导可逆模块的训练并加速收敛？
• RQ4 ILC 的性能在比特率降低时如何变化，尤其在 PSNR 相对于基线的提升方面？
• RQ5 对辅助潜在变量 z 的统计建模在多大程度上提升了重建保真度？

主要发现

• 在相同压缩比率下，ILC 相较于基线自编码器方法，PSNR 提升约 0.4 dB，且在多个数据集上表现一致。
• ILC 的性能增益在低比特率下更加显著，此时信息丢失更严重，显式建模高频分量尤为关键。
• ILC 与教师模型性能高度正相关，表明该框架能有效学习并泛化教师模型的表示能力。
• 从指定高斯分布中采样最可能的 z 值，其重建效果优于随机采样，凸显了分布建模的重要性。
• 知识蒸馏的使用显著加速了训练过程，并提升了 IEM 中学习到的潜在表示质量。
• 在 Kodak 和 ImageNet 数据集上的大量实验表明，ILC 在各种压缩率下均持续优于基线方法。