[论文解读] MaCow: Masked Convolutional Generative Flow

Xuezhe Ma, Xiang Kong+2 more|arXiv (Cornell University)|Feb 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 5

一句话总结

MaCow 提出了一种带有掩码卷积的生成流架构，通过使用局部连接的掩码卷积，在实现快速、稳定训练和高效采样 的同时，显著提升了密度估计性能，超越了 Glow 模型。该方法在 CIFAR-10、LSUN 和 CelebA-HQ 上实现了最先进（SOTA）的似然分数，结合变分去量化后达到 0.67 bits/dim 的表现，仅比最先进自回归模型 SPN 落后 0.06 bits/dim。

ABSTRACT

Flow-based generative models, conceptually attractive due to tractability of both the exact log-likelihood computation and latent-variable inference, and efficiency of both training and sampling, has led to a number of impressive empirical successes and spawned many advanced variants and theoretical investigations. Despite their computational efficiency, the density estimation performance of flow-based generative models significantly falls behind those of state-of-the-art autoregressive models. In this work, we introduce masked convolutional generative flow (MaCow), a simple yet effective architecture of generative flow using masked convolution. By restricting the local connectivity in a small kernel, MaCow enjoys the properties of fast and stable training, and efficient sampling, while achieving significant improvements over Glow for density estimation on standard image benchmarks, considerably narrowing the gap to autoregressive models.

研究动机与目标

• 弥合基于流的模型与最先进自回归模型（如 SPN 和 PixelSNAIL）在密度估计性能上的差距。
• 在保持计算效率和稳定训练的前提下，超越 Glow 模型在似然估计方面的表现。
• 通过利用掩码卷积和多尺度架构，实现非自回归似然模型的高保真图像生成。
• 证明基于流的模型无需依赖自回归生成机制，即可实现具有竞争力的似然分数和高质量样本。
• 探索通过改进网络架构设计，将基于流的模型拓展至离散和序列数据的潜力。

提出的方法

• 提出一种掩码卷积流（MaCow），通过可学习掩码限制局部感受野，仅使用小感受野的卷积核，确保变换的可逆性与高效性。
• 采用旋转排序掩码，实现大感受野的同时保持局部连接性，并确保雅可比行列式计算的稳定性。
• 设计细粒度的多尺度架构，在多个分辨率下处理特征，提升表征学习与密度估计能力。
• 结合使用均匀去量化与变分去量化，以增强对离散像素数据的似然估计性能。
• 应用可逆 1×1 卷积与耦合层，保持雅可比行列式的可计算性，实现精确的似然计算。
• 采用最大似然目标函数，结合随机优化方法进行训练，充分利用基于流模型的解析可计算性优势。

实验结果

研究问题

• RQ1 基于流的生成模型能否实现与最先进自回归模型（如 SPN 和 PixelSNAIL）相当的密度估计性能？
• RQ2 通过掩码卷积限制局部连接性，对基于流模型的训练稳定性、采样效率与似然性能有何影响？
• RQ3 非自回归流模型在多大程度上能生成与自回归模型（如 Glow 或 WaveNet）相媲美的高保真图像？
• RQ4 掩码卷积与多尺度架构的结合，能否在包括 CIFAR-10、ImageNet、LSUN 和 CelebA-HQ 在内的多样化图像基准上提升似然估计性能？
• RQ5 变分去量化是否能进一步缩小基于流模型与自回归模型在似然分数上的差距？

主要发现

• 在使用均匀去量化时，MaCow 在 CelebA-HQ（256×256）上相比 Glow 的似然性能提升 0.08 bits/dim，达到 0.95 bits/dim。
• 在使用变分去量化时，MaCow 在 CelebA-HQ 上达到 0.67 bits/dim 的表现，仅比最先进自回归模型 SPN 落后 0.06 bits/dim。
• 在 LSUN 卧室数据集上，使用均匀去量化时，MaCow 相比 Glow 提升 0.4 bits/dim，表明其在多个数据集上均具有一致的性能增益。
• MaCow 生成的图像质量高保真，与自回归模型相比具有竞争力，尤其在使用降低温度的采样策略时表现更优。
• MaCow 的采样速度虽比 Glow 慢 7.3 倍，但仍显著快于 MAF（600 倍）与 Emerging Convolutions（360 倍），表明其推理效率较高。
• 该模型的生成时间与图像分辨率近似呈线性关系，从 CIFAR-10 的 38.7ms 增加到 CelebA-HQ（256×256）的 434.2ms。