[论文解读] Lossless Image Compression through Super-Resolution

Sheng Cao, Chao-Yuan Wu+1 more|arXiv (Cornell University)|Apr 6, 2020

Advanced Image Processing Techniques参考文献 50被引用 29

一句话总结

本文提出了一种基于超分辨率的压缩方法（SReC），这是一种新颖的无损图像压缩技术，通过编码低分辨率图像并应用多次无损超分辨率迭代来压缩高分辨率细节。通过建模在低分辨率输入条件下高分辨率像素的概率分布，并结合熵编码，SReC 实现了最先进的压缩率，同时具备高效的运行时性能和小巧的模型尺寸。

ABSTRACT

We introduce a simple and efficient lossless image compression algorithm. We store a low resolution version of an image as raw pixels, followed by several iterations of lossless super-resolution. For lossless super-resolution, we predict the probability of a high-resolution image, conditioned on the low-resolution input, and use entropy coding to compress this super-resolution operator. Super-Resolution based Compression (SReC) is able to achieve state-of-the-art compression rates with practical runtimes on large datasets. Code is available online at https://github.com/caoscott/SReC.

研究动机与目标

• 通过将超分辨率作为压缩机制，解决设计高效概率模型以实现无损图像压缩的挑战。
• 通过采用分层且可并行处理的超分辨率框架，克服自回归模型在无损压缩中的低效问题。
• 利用超分辨率过程中的结构约束，降低熵编码的比特率，提升压缩效率。
• 在大规模数据集上实现最先进的压缩性能，同时保持实用的运行时间和小巧的模型尺寸。

提出的方法

• 将图像的低分辨率版本以原始像素形式存储，以减少初始数据大小。
• 应用三次无损超分辨率迭代，其中低分辨率输入中的每个像素预测四个高分辨率输出像素的概率分布。
• 使用神经网络建模在给定低分辨率输入条件下高分辨率像素的条件概率分布。
• 对预测的概率分布应用算术编码，实现对超分辨率算子的无损压缩。
• 利用超分辨率过程强制实现空间一致性，使得25%的像素可‘免费’重建，无需显式编码。
• 采用轻量化、共享架构设计，支持跨分层级别的并行处理和高效推理。

实验结果

研究问题

• RQ1 能否通过建模在低分辨率输入条件下的像素分布，将超分辨率重新用作无损压缩机制？
• RQ2 与通用自回归模型相比，超分辨率的结构约束如何降低熵编码的比特率？
• RQ3 基于超分辨率的压缩模型能否在保持实用运行时间和小模型尺寸的前提下，实现最先进的压缩率？
• RQ4 SReC 在多样化数据集上的性能与手写编码器（如 PNG、WebP、FLIF）以及基于深度学习的方法（如 L3C、IDF）相比如何？

主要发现

• SReC 在 ImageNet64 和 Open Images 数据集上均实现了最先进的压缩性能，其中 Open Images 的压缩率为 2.29 bpsp，ImageNet64 为 4.29 bpsp，优于所有实用的先前方法。
• 在 Open Images 上，SReC 的运行速度约为第二好的方法（IDF）的 55 倍，编码和解码时间分别为 0.99 秒和 1.15 秒。
• 该模型具有极高的参数效率，仅含 420 万个参数，约为次紧凑方法（L3C）的 1/20。
• SReC 在复杂、难压缩的图像（如高频纹理）上表现出更大的压缩增益，表明其对复杂图像模式具有有效的建模能力。
• 与 Reed 等人 [35] 的 PixelCNN 变体相比，SReC 实现了 30 倍的加速，后者因运行时间过长而不适用于实际应用。
• 利用超分辨率约束可缩小概率分布范围，从而降低熵编码成本，有助于提升压缩效率。