[论文解读] Evaluating Lossy Compression Rates of Deep Generative Models

Sicong Huang, Alireza Makhzani+2 more|arXiv (Cornell University)|Aug 15, 2020

Generative Adversarial Networks and Image Synthesis被引用 13

一句话总结

本文提出将率失真（RD）曲线作为深度生成模型的综合性评估框架，表明利用分层重要性采样（AIS）进行计算成本与单次对数似然估计相当的情况下，可近似得到完整的RD曲线。主要贡献在于揭示：尽管变自编码器（VAEs）在无损压缩中表现更优，但在低比特率有损压缩中性能显著下降；而生成对抗网络（GANs）在各种比特率下均保持强劲性能，尤其在模型宽度和深度增加时表现更优，提供了超越对数似然或FID等标量指标的更丰富洞见。

ABSTRACT

The field of deep generative modeling has succeeded in producing astonishingly realistic-seeming images and audio, but quantitative evaluation remains a challenge. Log-likelihood is an appealing metric due to its grounding in statistics and information theory, but it can be challenging to estimate for implicit generative models, and scalar-valued metrics give an incomplete picture of a model's quality. In this work, we propose to use rate distortion (RD) curves to evaluate and compare deep generative models. While estimating RD curves is seemingly even more computationally demanding than log-likelihood estimation, we show that we can approximate the entire RD curve using nearly the same computations as were previously used to achieve a single log-likelihood estimate. We evaluate lossy compression rates of VAEs, GANs, and adversarial autoencoders (AAEs) on the MNIST and CIFAR10 datasets. Measuring the entire RD curve gives a more complete picture than scalar-valued metrics, and we arrive at a number of insights not obtainable from log-likelihoods alone.

研究动机与目标

• 为解决对数似然或FID等标量指标在评估生成模型（尤其是GANs等隐式模型）时的局限性。
• 开发一种计算高效的完整率失真（RD）曲线估计方法，适用于深度生成模型。
• 提供一种更完整且理论基础更扎实的评估方式，以捕捉压缩速率与重建保真度之间的权衡。
• 揭示仅通过对数似然无法观察到的模型行为，例如在低比特率区域的性能退化。

提出的方法

• 利用分层重要性采样（AIS）估计潜在变量后验分布的归一化常数，这些分布对应于率失真分析所需的分布。
• 将率失真函数视为在不同方差的高斯观测模型下的一组后验分布族，从而通过AIS实现估计。
• 证明AIS对RD曲线的估计为上界，其紧致性通过在模拟数据上使用双向蒙特卡罗（BDMC）方法验证。
• 复用原本用于对数似然估计的AIS计算流程，实现对整个RD曲线的近似，从而最小化额外计算开销。
• 采用基于感知的失真度量（如深层特征上的MSE和SSIM）评估不同失真定义下的鲁棒性。
• 将AIS估计结果与变分近似方法进行比较，以评估不同估计方法的准确性，尤其针对具有多模态后验分布的模型（如GANs）

实验结果

研究问题

• RQ1 如何在不引入显著计算开销的前提下，高效估计深度生成模型的率失真曲线？
• RQ2 完整的RD曲线揭示了哪些通过标量指标（如对数似然或FID）无法观察到的模型行为洞见？
• RQ3 VAEs、GANs和AAEs在不同码率大小和网络深度下，其率失真权衡有何差异？
• RQ4 失真度量的选择（如像素级MSE与深层特征MSE）是否显著影响RD曲线的解释？
• RQ5 对于具有复杂后验结构（如GANs）的模型，变分近似方法与AIS在估计RD曲线时的准确性如何比较？

主要发现

• VAEs在使用更大码率时可实现更好的无损压缩，但在有损压缩的低比特率区域性能显著下降。
• GANs在整个率失真范围内均保持强劲性能，且模型宽度增加使曲线向左平移，深度增加则使曲线向下移动。
• RD曲线揭示：更高容量的GANs（尤其是宽度增加）可在高比特率下实现更低失真，且不以牺牲低比特率性能为代价。
• 由于后验分布高度多模态，变分近似方法无法为GANs提供可靠的上界，而对后验分布更易处理的VAEs则表现更优。
• 无论使用像素级MSE还是深层特征MSE作为失真度量，RD曲线的定性形状保持一致，表明分析结果具有鲁棒性。
• AIS在估计RD曲线方面比变分方法更紧致、更准确，尤其对于后验结构复杂的隐式模型（如GANs），变分方法的边界具有误导性。