[论文解读] Lossy Image Compression with Compressive Autoencoders

Lucas Theis, Wenzhe Shi+2 more|arXiv (Cornell University)|Mar 1, 2017

Advanced Data Compression Techniques参考文献 30被引用 259

一句话总结

论文提出 compressive autoencoders (CAEs) 用于端到端有损图像压缩，解决量化的不可微分性问题，通过梯度友好的代理和熵建模，并展示在高分辨率解码方面对 JPEG 2000 的竞争性结果。

ABSTRACT

We propose a new approach to the problem of optimizing autoencoders for lossy image compression. New media formats, changing hardware technology, as well as diverse requirements and content types create a need for compression algorithms which are more flexible than existing codecs. Autoencoders have the potential to address this need, but are difficult to optimize directly due to the inherent non-differentiabilty of the compression loss. We here show that minimal changes to the loss are sufficient to train deep autoencoders competitive with JPEG 2000 and outperforming recently proposed approaches based on RNNs. Our network is furthermore computationally efficient thanks to a sub-pixel architecture, which makes it suitable for high-resolution images. This is in contrast to previous work on autoencoders for compression using coarser approximations, shallower architectures, computationally expensive methods, or focusing on small images.

研究动机与目标

• 提出传统编解码器之外实现灵活有损压缩的需求。
• 提出一个可学习的框架（CAE）以联合优化码率-失真。
• 开发可微分策略以处理量化和熵编码。
• 在标准数据集上展示有竞争力的性能并分析感知质量。

提出的方法

• 定义一个带有编码器 f、解码器 g 和熵模型 Q 的压缩自编码器。
• 优化码率-失真目标 -log2 Q([f(x)]) + beta * d(x, g([f(x)]))，并使用可微近似。
• 将基于舍入的不可微分量化梯度替换为一个简单的可微代理，以进行反向传播。
• 通过连续密度 q 和 Jensen’s inequality 对不可微的比特成本进行上界，以实现基于梯度的训练。
• 使用高斯尺度混合对编码系数分布进行建模以进行熵编码。
• 使用子像素卷积架构以及增量/微调训练以实现高分辨率的高效性能。
• 通过学习调整码率的尺度参数实现对码率-失真权衡的灵活码率控制。

实验结果

研究问题

• RQ1 CAEs 是否能在自然图像上达到与 JPEG 2000 及基于 RNN 的方法相竞争的码率-失真性能？
• RQ2 在端到端训练过程中，如何有效处理不可微的量化与熵编码？
• RQ3 高效架构（子像素上采样）是否能够实现高分辨率图像的近实时解码？
• RQ4 在码率-失真设置之间的增量训练和微调是否能提升稳定性和性能？
• RQ5 与标准编解码器相比，CAEs 在感知质量指标（SSIM、MS-SSIM、MOS）上的表现如何？

主要发现

• CAE 在 Kodak 图像上的感知指标，如 SSIM 和 MOS，达到与 JPEG 2000 相近甚至更好的性能。
• CAE 在某些比特率下在 SSIM 和 MOS 上优于 JPEG 2000，且伪影比 JPEG 2000 更平滑。
• 采用高效卷积架构和子像素上采样，使高分辨率解码在消费级硬件上成为可能。
• 增量训练和学习得到的尺度参数提供灵活、细粒度的码率控制，而无需训练大量独立模型。
• 端到端优化使 CAE 能适应特定内容任务和超越传统编解码器的评测指标。