[论文解读] Latent Variable PixelCNNs for Natural Image Modeling

Alexander Kolesnikov, Christoph H. Lampert|arXiv (Cornell University)|Dec 24, 2016

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 3

一句话总结

本文提出潜在变量PixelCNN，通过将辅助变量（如量化灰度图像或多分辨率金字塔）整合到自回归PixelCNN中，提升了自然图像建模效果。通过利用这些潜在表征，模型更有效地捕捉图像的高层结构，并加速采样过程，生成的图像在真实感上显著优于以往最先进模型。

ABSTRACT

We study probabilistic models of natural images and extend the autoregressive family of PixelCNN architectures by incorporating auxiliary variables. Subsequently, we describe two new generative image models that exploit different image transformations as auxiliary variables: a quantized grayscale view of the image or a multi-resolution image pyramid. The proposed models tackle two known shortcomings of existing PixelCNN models: 1) their tendency to focus on low-level image details, while largely ignoring high-level image information, such as object shapes, and 2) their computationally costly procedure for image sampling. We experimentally demonstrate benefits of the proposed models, in particular showing that they produce much more realistically looking image samples than previous state-of-the-art probabilistic models.

研究动机与目标

• 解决现有PixelCNN在忽略物体形状等高层图像结构方面的局限性。
• 降低自回归模型中图像采样过程的计算成本。
• 通过在生成过程中引入结构化的辅助变量，提升样本质量。
• 探索不同图像变换作为图像建模有效潜在变量的潜力。
• 证明辅助变量可同时提升采样效率与生成图像的感知质量。

提出的方法

• 提出一种潜在变量框架，利用辅助变量（如量化灰度图像或多分辨率金字塔）来条件化自回归PixelCNN。
• 采用联合概率模型，其因子分解形式为 p(x, z) = p(x|z)p(z)，其中 x 为原始图像，z 为辅助变量。
• 采用分层自回归结构，像素生成过程同时依赖于原始图像和潜在表征 z。
• 应用不同的图像变换（如灰度化、多尺度）作为辅助变量，以捕捉高层结构。
• 利用辅助变量引导自回归生成过程，减少对逐像素顺序采样的依赖。
• 通过在图像与潜在变量联合分布上的最大似然估计进行模型训练。

实验结果

研究问题

• RQ1 辅助变量能否改善自回归图像模型对高层图像结构的建模能力？
• RQ2 不同图像变换（如灰度化、多分辨率）对生成性能有何影响？
• RQ3 使用潜在变量是否能降低采样时间，同时保持或提升样本质量？
• RQ4 引入结构化潜在变量是否能生成比标准PixelCNN更逼真的图像样本？
• RQ5 在使用辅助变量时，建模复杂度与样本保真度之间的权衡如何？

主要发现

• 所提出的模型生成的图像样本在真实感上显著优于以往最先进概率模型。
• 引入量化灰度图像或多分辨率金字塔等辅助变量，显著提升了模型捕捉高层图像结构（如物体形状）的能力。
• 使用潜在变量可降低图像采样过程的计算成本，实现更高效的自回归生成。
• 通过利用结构化的潜在表征引导生成过程，模型在超越低层细节的基础上实现了更优的样本质量。
• 实验结果证实，该方法在感知质量与采样效率两方面均优于标准PixelCNN。
• 模型表明，辅助变量能有效解耦高层与低层图像建模，从而整体提升生成性能。