[论文解读] High-Fidelity Generative Image Compression
论文提出 HiFiC，一种基于 GAN 的学习图像压缩系统，在高分辨率和广泛比特率范围内提供感知上高保真度的重建，在用户研究和多种感知度量下超过传统编解码器如 BPG。
We extensively study how to combine Generative Adversarial Networks and learned compression to obtain a state-of-the-art generative lossy compression system. In particular, we investigate normalization layers, generator and discriminator architectures, training strategies, as well as perceptual losses. In contrast to previous work, i) we obtain visually pleasing reconstructions that are perceptually similar to the input, ii) we operate in a broad range of bitrates, and iii) our approach can be applied to high-resolution images. We bridge the gap between rate-distortion-perception theory and practice by evaluating our approach both quantitatively with various perceptual metrics, and with a user study. The study shows that our method is preferred to previous approaches even if they use more than 2x the bitrate.
研究动机与目标
- 在传统率失真最优化之外，推动高分辨率下的感知保真有损压缩。
- 开发一个基于 GAN 的压缩框架，使重建分布与输入图像的一致性对齐。
- 在多种感知度量和用户研究中评估该方法，以将率失真感知理论转化为实践。
- 评估对感知质量和稳定性有影响的架构选择（归一化、生成器/判别器设计）和损失项。
提出的方法
- 提出端到端的学习压缩，并辅以条件 GAN 以引导感知质量。
- 使用由 MSE 和基于 LPIPS 的感知失真组成的失真损失，以及通过概率模型和熵编码得到的学习化编码率。
- 引入一个率目标机制，通过训练过程中的自适应 lambda prime 来控制平均比特率。
- 采用 ChannelNorm 归一化来稳定训练，并用替代 InstanceNorm 提升跨分辨率的一致性。
- 将判别器条件化在潜在表示上以形成条件 GAN，并使用基于超先验的概率模型来对潜在变量进行熵建模。
- 采用两阶段初始化与消融研究来分析 GAN、感知损失和生成器容量的影响。
实验结果
研究问题
- RQ1基于 GAN 的压缩框架如何实现对高分辨率输入的感知保真重建？
- RQ2在神经图像压缩中，哪些架构与损失函数选择能在率、失真和感知质量之间取得最佳平衡？
- RQ3感知度量和人类评估在对不同比特率与数据集的 GAN 基压缩方法的排序上是否一致？
- RQ4对判别器的条件化以及使用先进的归一化方法如何影响训练稳定性和感知结果？
主要发现
- HiFiC 在相似甚至更低的比特率下相对于基线具有更高的感知保真度，用户研究在 2 倍比特率下偏好 HiFiC 重建而非 BPG。
- 在 FID、KID、NIQE、LPIPS、PSNR/MS-SSIM 等指标上，基于 GAN 的方法提升了感知指数，同时以传统失真指标的损失为代价，这与率失真感知理论一致。
- 条件判别器和 ChannelNorm 稳定了训练并提升跨分辨率的清晰度和一致性。
- 改变感知失真分量（基于 LPIPS）和 GAN 权重显示出一种权衡：更高的感知质量在较低比特率时会增加失真；这一权衡可以通过 beta 参数进行导航。
- 该方法可扩展到高分辨率图像（高达 2000×2000），并通过定量指标和对多样数据集的用户偏好研究进行验证。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。