[论文解读] Multilinear Latent Conditioning for Generating Unseen Attribute Combinations

Markos Georgopoulos, Grigorios G. Chrysos+2 more|arXiv (Cornell University)|Sep 9, 2020

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出了一种多线性潜在条件化框架，用于条件变分自编码器（cVAE），通过建模属性之间的乘法交互作用，以生成未见过的属性组合。通过使用Tucker和CP张量分解来学习潜在空间中的标签相关均值，该模型能够超越训练数据进行泛化，在MNIST、Fashion-MNIST和CelebA数据集上实现了对未见组合的高质量合成，即使在训练过程中多达20个共30种组合缺失的情况下依然表现良好。

ABSTRACT

Deep generative models rely on their inductive bias to facilitate generalization, especially for problems with high dimensional data, like images. However, empirical studies have shown that variational autoencoders (VAE) and generative adversarial networks (GAN) lack the generalization ability that occurs naturally in human perception. For example, humans can visualize a woman smiling after only seeing a smiling man. On the contrary, the standard conditional VAE (cVAE) is unable to generate unseen attribute combinations. To this end, we extend cVAE by introducing a multilinear latent conditioning framework that captures the multiplicative interactions between the attributes. We implement two variants of our model and demonstrate their efficacy on MNIST, Fashion-MNIST and CelebA. Altogether, we design a novel conditioning framework that can be used with any architecture to synthesize unseen attribute combinations.

研究动机与目标

• 为解决标准条件变分自编码器在生成未见属性组合（例如，仅在训练数据中存在微笑男性时生成微笑女性）方面的局限性。
• 在潜在空间中建模属性之间的高阶交互作用，以实现对训练集中未出现组合的泛化。
• 开发一种可与任意生成模型架构集成的条件化框架，以提升零样本属性组合生成能力。
• 在存在缺失属性组合和标签相关性的基准数据集上评估模型性能，证明其鲁棒性与泛化能力。
• 将框架扩展至处理多属性及未标注属性，提升其实际应用价值。

提出的方法

• 提出一种多线性潜在条件化机制，通过张量分解将潜在先验的均值建模为输入属性的多线性函数。
• 采用Tucker和CP分解来表示属性之间的交互张量，即使在存在缺失属性组合的情况下也能实现高效学习。
• 使用变分自编码器框架进行端到端训练，将标签嵌入通过多线性函数映射以条件化潜在空间。
• 引入第二个编码器头，利用Gumbel-Softmax技巧在标签缺失时推断未观测到的属性类别，从而实现解耦并生成未见组合。
• 采用分层张量分解结构：线性项、成对交互作用以及更高阶交互（如三元组）通过高阶张量建模。
• 应用重参数化技巧以实现通过随机潜在变量的反向传播，确保端到端训练。

实验结果

研究问题

• RQ1 能否将条件变分自编码器扩展为生成训练过程中未见过的属性组合（例如，仅存在微笑男性时生成微笑女性）？
• RQ2 与标准cVAE相比，建模属性之间的乘法交互是否能显著提升对未见组合的泛化能力？
• RQ3 当涉及多个属性时，模型表现如何？在标签高度相关的情况下，能否恢复缺失的组合？
• RQ4 该框架能否扩展以处理未标注属性（如MNIST中的颜色），而无需显式监督？
• RQ5 随着缺失属性组合数量的增加，模型的性能如何变化？

主要发现

• 在MNIST数据集中，当30种组合中有6种缺失时，模型在未见属性组合分类上达到94.5%的准确率，表明其具备强大的泛化能力。
• 在3属性的Morpho-MNIST基准上，即使没有这些组合的训练样本，模型仍成功合成了全部三种未见组合（如0-橙色、1-绿色）。
• 即使在30种组合中有20种缺失的情况下，模型在属性分类任务中仍保持15.8%的准确率，展现出对缺失数据的强鲁棒性。
• 通过在CelebA和Fashion-MNIST上的定性与定量评估，验证了该方法在生成未见属性组合的逼真图像方面优于标准cVAE。
• 即使未提供颜色标签，模型仍能有效解耦属性并生成合理的未见组合，如图9所示。
• 基于张量分解的多线性交互建模使网络能够超越加法或独立条件化，捕捉复杂的标签依赖关系。