[论文解读] Decoupling Global and Local Representations via Invertible Generative Flows

Xuezhe Ma, Xiang Kong+2 more|arXiv (Cornell University)|Apr 11, 2020

Algorithms and Data Compression参考文献 56被引用 5

一句话总结

该论文提出了一种基于变分自编码器（VAE）的新型生成模型，通过基于可逆流的解码器将全局和局部图像表征解耦，实现了无监督的内容与风格类特征解耦。通过将流网络嵌入到以全局潜在码为条件的结构中，该模型在无需显式监督或除流结构设计外的架构修改下，实现了最先进的表征学习性能和可控图像生成。

ABSTRACT

In this work, we propose a new generative model that is capable of automatically decoupling global and local representations of images in an entirely unsupervised setting, by embedding a generative flow in the VAE framework to model the decoder. Specifically, the proposed model utilizes the variational auto-encoding framework to learn a (low-dimensional) vector of latent variables to capture the global information of an image, which is fed as a conditional input to a flow-based invertible decoder with architecture borrowed from style transfer literature. Experimental results on standard image benchmarks demonstrate the effectiveness of our model in terms of density estimation, image generation and unsupervised representation learning. Importantly, this work demonstrates that with only architectural inductive biases, a generative model with a likelihood-based objective is capable of learning decoupled representations, requiring no explicit supervision. The code for our model is available at https://github.com/XuezheMax/wolf.

研究动机与目标

• 开发一种生成模型，以无监督方式自动解耦图像的全局（内容类）与局部（风格类）表征。
• 探究仅依靠架构归纳偏置——无需显式监督——是否可在基于似然的生成模型中实现解耦表征学习。
• 通过将VAE与可逆流结合，建模复杂且解耦的数据分布，以提升图像生成与表征学习性能。
• 通过解耦的潜在表征实现可控图像操作，如图像切换与插值。

提出的方法

• 该模型采用VAE框架，其中全局潜在码 $ z $ 捕获图像的高层结构，并用作基于流的解码器的条件输入。
• 解码器是一个受神经风格迁移启发的可逆流网络，支持精确的似然计算和从潜在空间到图像空间的可逆变换。
• 通过将流网络条件化于 $ z $，该架构实现了表征解耦，其中 $ z $ 控制全局属性，而流网络学习局部变化。
• 模型在变分推断设置下优化ELBO目标，使用 $ q_\phi(z|x) $ 作为编码器，流网络 $ p_\theta(x|z) $ 作为解码器。
• 可逆流支持精确密度估计，并可通过操纵 $ z $ 实现二维插值与图像切换操作。
• 该方法仅依赖于架构归纳偏置（如流结构与条件化），无需额外的监督或解耦损失项。

实验结果

研究问题

• RQ1 仅依靠架构归纳偏置（无显式监督）的基于似然的生成模型能否学习到全局与局部表征的解耦？
• RQ2 以全局潜在码为条件的基于流的解码器在无监督表征学习与图像生成中的表现如何？
• RQ3 该模型在多大程度上支持可控图像操作，如在图像间交换全局特征？
• RQ4 所提出的架构是否在解耦性与表征质量方面优于标准VAE及其他基于流的模型？

主要发现

• 该模型在线性评估基准上的表征学习准确率达到59.53%，显著优于先前方法如VAE（39.59%）和BiGAN（44.90%）。
• 该模型在CIFAR-10、ImageNet、LSUN Bedroom和CelebA-HQ数据集上表现出优异的图像生成质量与密度估计性能。
• 图像切换操作——即在两幅图像间交换全局表征——在多种数据集上均产生视觉上连贯的结果，表明实现了有效的解耦。
• 支持真实图像间的二维插值，过渡平滑，反映出对全局与局部特征的解耦控制。
• 当使用流的潜在变量 $ \upsilon $ 时，模型的表征准确率为17.16%，证实 $ z $ 本身已捕获有意义的解耦全局信息。
• 结果表明，仅依靠架构归纳偏置（无需显式解耦损失）即可实现全局与局部图像表征的有效无监督解耦。