[论文解读] Deep Image Compression via End-to-End Learning

Haojie Liu, Tong Chen+3 more|arXiv (Cornell University)|Jun 1, 2018

Advanced Image Processing Techniques被引用 22

一句话总结

该论文提出了一种基于深度学习的图像压缩方法，采用卷积神经网络（CNN），在相同比特率下，其MS-SSIM性能优于BPG、WebP、JPEG2000和JPEG。通过结合感知损失与对抗性损失，并采用一种新颖的由易到难的迁移学习策略进行率失真优化，该方法在Kodak和ETH Zurich的P/M数据集上分别实现了7.81%和19.1%的BD-rate降低。

ABSTRACT

We present a lossy image compression method based on deep convolutional neural networks (CNNs), which outperforms the existing BPG, WebP, JPEG2000 and JPEG as measured via multi-scale structural similarity (MS-SSIM), at the same bit rate. Currently, most of the CNNs based approaches train the network using a L2 loss between the reconstructions and the ground-truths in the pixel domain, which leads to over-smoothing results and visual quality degradation especially at a very low bit rate. Therefore, we improve the subjective quality with the combination of a perception loss and an adversarial loss additionally. To achieve better rate-distortion optimization (RDO), we also introduce an easy-to-hard transfer learning when adding quantization error and rate constraint. Finally, we evaluate our method on public Kodak and the Test Dataset P/M released by the Computer Vision Lab of ETH Zurich, resulting in averaged 7.81% and 19.1% BD-rate reduction over BPG, respectively.

研究动机与目标

• 为解决仅使用L2像素级重建损失的CNN图像压缩方法中常见的视觉质量下降和过度平滑问题。
• 通过在训练目标中引入感知损失与对抗性损失，提升低比特率下的主观图像质量。
• 通过一种新颖的由易到难的迁移学习策略，改进率失真优化（RDO），逐步引入量化和率约束。
• 在标准基准数据集上，通过MS-SSIM和BD-rate降低指标，实现图像压缩的最先进性能。

提出的方法

• 该方法采用深度卷积神经网络（CNN）实现端到端图像压缩，学习图像特征与量化之间的联合表示。
• 采用感知损失以保留高层语义与结构内容，减少过度平滑，提升视觉质量。
• 引入对抗性损失，通过训练判别器来区分真实图像与重建图像，以增强纹理真实感与感知保真度。
• 应用由易到难的迁移学习调度策略，逐步增强训练过程中的量化与率约束强度，以稳定优化过程。
• 网络通过结合L2重建损失、感知损失与对抗性损失的复合损失函数进行训练，率约束通过可微分的率估计方法建模。
• 该框架实现了失真与率的联合优化，相比传统方法获得了更优的率失真权衡。

实验结果

研究问题

• RQ1 与标准L2损失相比，结合感知损失与对抗性损失是否能提升深度图像压缩中的主观图像质量？
• RQ2 所提出的由易到难的迁移学习策略对CNN图像压缩中率失真优化的收敛性与性能有何影响？
• RQ3 在标准基准测试中，该方法相较于BPG和WebP等最先进编码器，BD-rate降低的幅度有多大？
• RQ4 该方法在低比特率下是否能在多种图像内容上保持优异的MS-SSIM性能？

主要发现

• 在公开的Kodak数据集上，该方法相比BPG实现了平均7.81%的BD-rate降低，表明其具有更优的率失真效率。
• 在ETH Zurich的P/M测试数据集上，该方法相比BPG实现了19.1%的BD-rate降低，证明其在多样化且具有挑战性的图像集上表现强劲。
• 感知损失与对抗性损失的引入显著提升了视觉质量，尤其在低比特率下，有效减少了过度平滑并增强了纹理细节。
• 由易到难的迁移学习策略实现了稳定的训练过程与更好的收敛性，从而提升了率失真性能。
• 在相同比特率下，该方法在MS-SSIM指标上优于BPG、WebP、JPEG2000和JPEG，证实了其最先进的性能。
• 结果表明，结合感知损失与对抗性监督的端到端学习，相比标准L2训练，能生成更具自然感的重建图像。