[论文解读] A Compression Objective and a Cycle Loss for Neural Image Compression

Çağlar Aytekin, Francesco Cricri+4 more|arXiv (Cornell University)|Jan 1, 2019

Neural Networks and Applications被引用 4

一句话总结

本文提出一种压缩目标和循环损失，通过促进稀疏性与低熵激活并减少码域失真，以改进神经图像压缩。当与重建损失结合时，这些项使自编码器在感知-失真权衡曲线上发生偏移：仅使用MSE训练可最小化图像域失真，而采用循环损失训练则在相似比特率下提升感知质量。

ABSTRACT

In this manuscript we propose two objective terms for neural image compression: a compression objective and a cycle loss. These terms are applied on the encoder output of an autoencoder and are used in combination with reconstruction losses. The compression objective encourages sparsity and low entropy in the activations. The cycle loss term represents the distortion between encoder outputs computed from the original image and from the reconstructed image (code-domain distortion). We train different autoencoders by using the compression objective in combination with different losses: a) MSE, b) MSE and MSSSIM, c) MSE, MS-SSIM and cycle loss. We observe that images encoded by these differently-trained autoencoders fall into different points of the perception-distortion curve (while having similar bit-rates). In particular, MSE-only training favors low image-domain distortion, whereas cycle loss training favors high perceptual quality.

研究动机与目标

• 通过引入新的训练目标，解决神经图像压缩中的感知-失真权衡问题。
• 通过测量原始图像与重建图像编码器输出之间的差异，减少码域失真。
• 在潜在空间中鼓励低熵、稀疏激活，以提升压缩效率。
• 探究不同损失组合如何影响图像保真度与感知质量之间的平衡。

提出的方法

• 将压缩目标应用于编码器输出，以促进潜在表示中的稀疏性与低熵。
• 引入循环损失，用于测量原始图像编码器输出与重建图像之间失真的差异。
• 循环损失作为码域失真项，鼓励重建过程中潜在空间的一致性。
• 将压缩目标与标准重建损失结合：MSE、MSE + MSSSIM，以及MSE + MSSSIM + 循环损失。
• 使用这些混合损失组合训练自编码器，以评估其对压缩性能的影响。

实验结果

研究问题

• RQ1 添加压缩目标如何影响神经图像压缩中潜在表示的稀疏性与熵？
• RQ2 循环损失在多大程度上减少了码域失真并提升了感知质量？
• RQ3 不同损失组合如何改变图像保真度与感知质量之间的权衡？
• RQ4 循环损失是否能在不增加比特率的情况下实现更高的感知质量？

主要发现

• 在相似比特率下，使用循环损失训练的自编码器相比仅使用MSE训练的模型，实现了更高的感知质量。
• 压缩目标成功促进了潜在激活的稀疏性与低熵，从而提升了压缩效率。
• MSE、MS-SSIM与循环损失的组合在感知-失真曲线上形成一个独特点，更倾向于提升感知质量。
• 仅使用MSE训练的模型虽然图像域失真较低，但感知质量较差，证实了保真度与感知之间的权衡。