[论文解读] Emerging Convolutions for Generative Normalizing Flows

Emiel Hoogeboom, Rianne van den Berg+1 more|arXiv (Cornell University)|Jan 30, 2019

Generative Adversarial Networks and Image Synthesis被引用 43

一句话总结

本文将可逆卷积推广到 dxd 形式，通过新兴卷积（emerging）和周期卷积（periodic），外加一个 QR 参数化的 1x1 卷积，并在 CIFAR-10、ImageNet 以及星系图像上显示出更优的密度建模性能。

ABSTRACT

Generative flows are attractive because they admit exact likelihood optimization and efficient image synthesis. Recently, Kingma & Dhariwal (2018) demonstrated with Glow that generative flows are capable of generating high quality images. We generalize the 1 x 1 convolutions proposed in Glow to invertible d x d convolutions, which are more flexible since they operate on both channel and spatial axes. We propose two methods to produce invertible convolutions that have receptive fields identical to standard convolutions: Emerging convolutions are obtained by chaining specific autoregressive convolutions, and periodic convolutions are decoupled in the frequency domain. Our experiments show that the flexibility of d x d convolutions significantly improves the performance of generative flow models on galaxy images, CIFAR10 and ImageNet.

研究动机与目标

• 提高生成流中可逆卷积的灵活性，超越 1x1 卷积。
• 引入保留感受野的 emergent 与 periodic 卷积。
• 提供稳定、灵活的基于 QR 的 1x1 可逆卷积参数化。
• 展示在标准数据集上改进的密度估计与采样效率。

提出的方法

• 通过将自回归卷积串联以匹配标准感受野，引入 emergent 卷积。
• 提出通过在频域解耦来计算的可逆周期卷积。
• 给出基于 QR 的参数化，用于稳定而灵活的 1x1 可逆卷积。
• 提供用于自回归卷积的加速求逆模块，以加速采样。
• 在 Galaxy、CIFAR-10 和 ImageNet 基准上评估密度性能。

实验结果

研究问题

• RQ1 与 1x1 卷积相比，dxd emergent 与 periodic 卷积是否能提升生成型归一化流的表达能力与似然性？
• RQ2 可逆的 dxd 卷积在提供更大感受野的同时，是否仍能维持可处理的雅可比行列式和反演？
• RQ3 基于 QR 的 1x1 卷积是否在稳定性与性能上优于 PLU 参数化？

主要发现

• 周期型和新兴的 3x3 卷积在 Galaxy 密度建模上优于此前的 1x1 卷积。
• Emerging 卷积在 CIFAR-10 和 ImageNet 上达到或超过 Glow（在不同模型规模）。
• Emerging 卷积显著降低采样时间，相较于朴素自回归求逆和 MAF 基线。
• QR 1x1 卷积在稳定性方面得到提升，并且性能与标准与 PLU 参数化相当。
• 在 CIFAR-10 和 ImageNet(32x32) 上，Emerging 卷积提供显著增益，尤其在较小模型中。