[论文解读] A Residual Diffusion Model for High Perceptual Quality Codec Augmentation

Noor Fathima Goose, Jens Petersen+3 more|arXiv (Cornell University)|Jan 13, 2023

Advanced Image Processing Techniques被引用 11

一句话总结

DIRAC 在基础图像编解码器上增添了接收端扩散残差模型，以在速率-失真-感知权衡中实现平滑过渡，在保持竞争力保真度的同时获得高感知质量，并实现非常快速的采样（仅需 20 步）。

ABSTRACT

Diffusion probabilistic models have recently achieved remarkable success in generating high quality image and video data. In this work, we build on this class of generative models and introduce a method for lossy compression of high resolution images. The resulting codec, which we call DIffuson-based Residual Augmentation Codec (DIRAC), is the first neural codec to allow smooth traversal of the rate-distortion-perception tradeoff at test time, while obtaining competitive performance with GAN-based methods in perceptual quality. Furthermore, while sampling from diffusion probabilistic models is notoriously expensive, we show that in the compression setting the number of steps can be drastically reduced.

研究动机与目标

• 激发并实现对图像压缩中速率-失真-感知权衡的动态控制。
• 利用扩散模型在提升感知质量的同时保持保真度。
• 提供一种接收端增强，既可与神经网络编码/解码器也可与传统编解码器协同工作。
• 将扩散采样成本降低到适用于高分辨率图像的实际水平。

提出的方法

• 将基础图像编解码器与预测 x - x̃（重建残差）的残差扩散模型结合。
• 训练扩散模型在基重建条件下预测残差，优化包含残差预测误差和基于 LPIPS 的感知失真损失。
• 采用 DDIM 风格采样以实现灵活且步数较少的生成，最多 100 步或更少（例如 20 步）并具备后启采样。
• 引入速率相关阈值化，根据速率特定的残差分布对中间残差预测进行裁剪。
• 通过在任意点停止扩散过程来在失真和感知之间权衡，从而实现测试时控制。
• 同时评估生成性压缩（使用神经基础编解码器）和对传统编解码器（JPEG、VTM）的增强。

Figure 1 : Base reconstruction (left) and the DIRAC-enhanced version (right). Our model combines a base codec with a receiver-side enhancement model, and can smoothly interpolate between near-state-of-the-art fidelity (PSNR, higher better) and near-state-of-the-art perceptual quality (FID, lower bet

实验结果

研究问题

• RQ1 接收端基于扩散的增强器是否能够在测试时提供对速率-失真-感知的可控导航？
• RQ2 基于残差的扩散建模在 PSNR 和感知指标（FID/256、LPIPS）方面与端到端感知优化相比如何？
• RQ3 哪些采样策略（步数、后启动、速率相关裁剪）在不 sacrifices 质量的前提下带来实际的加速？
• RQ4 该方法是否能在不损害保真度的前提下提升传统编解码器如 JPEG 和 VTM 的感知质量？
• RQ5 在使用 DIRAC 时，不同数据集（如 CLIC2020、Kodak、ImageNet-val1k）上的权衡行为是怎样的？

主要发现

• DIRAC 在高保真与高感知质量之间实现平滑遍历，在可比保真度下达到或超过最先进的感知基线。
• DIRAC-100（100 步扩散）在感知质量水平上可与 HiFiC 相竞争，同时在测试数据集上提供更好的 PSNR。
• 具体而言，对 JPEG，DIRAC 在不损失 PSNR 的情况下将 FID/256 提升最多 78%（与增强后的基线 JPEG 相比）。
• DIRAC-1（单步采样）在保真度（PSNR）方面接近基础编解码器，同时实现感知方面的改进，在感知指标上优于若干增强基线。
• 采样效率提升：极晚启动采样（在 t 大约为 20 启动）可减少约 80% 的步数且性能损失微乎其微；速率相关阈值化进一步提升 PSNR，同时不影响 FID/256。
• DIRAC 也在高分辨率数据上提升传统编解码器（VTM、JPEG），在 FID/256 上实现显著感知增益，且 PSNR 损失很小或没有。
• 该方法实现测试时对失真-感知权衡的控制，单一模型支持一系列不同的工作点。）

Figure 2 : Overview of our architecture. Given an input image ${\mathbf{x}}$ and target rate factor $\lambda_{rate}$ , we obtain a base codec reconstruction $\mathbf{\tilde{x}}$ . Our DDPM is conditioned on $\mathbf{\tilde{x}}$ and learns to model a reverse diffusion process that generates residuals