[论文解读] Capturing Label Characteristics in VAEs

Tom Joy, Sebastian M. Schmon+3 more|arXiv (Cornell University)|Jun 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 6

一句话总结

本文提出了一种新型变分自编码器——特征捕捉变分自编码器（CCVAE），其在潜在空间中显式建模丰富的标签特征，而非直接将标签值映射到潜在变量。通过将标签值与其潜在视觉特征解耦，CCVAE 实现了更高效且解缠的干预操作，例如平滑遍历、多样化的条件生成以及特征迁移，同时在分类任务中保持了强大的性能。

ABSTRACT

We present a principled approach to incorporating labels in VAEs that captures the rich characteristic information associated with those labels. While prior work has typically conflated these by learning latent variables that directly correspond to label values, we argue this is contrary to the intended effect of supervision in VAEs-capturing rich label characteristics with the latents. For example, we may want to capture the characteristics of a face that make it look young, rather than just the age of the person. To this end, we develop the CCVAE, a novel VAE model and concomitant variational objective which captures label characteristics explicitly in the latent space, eschewing direct correspondences between label values and latents. Through judicious structuring of mappings between such characteristic latents and labels, we show that the CCVAE can effectively learn meaningful representations of the characteristics of interest across a variety of supervision schemes. In particular, we show that the CCVAE allows for more effective and more general interventions to be performed, such as smooth traversals within the characteristics for a given label, diverse conditional generation, and transferring characteristics across datapoints.

研究动机与目标

• 为解决先前变分自编码器直接将标签值映射到潜在变量所带来的局限性，该方法无法捕捉与标签相关的丰富且解缠的视觉特征。
• 开发一种方法，将与标签相关的感知特征（如发色、微笑、肤色）分离并建模，而非仅关注标签本身。
• 实现在潜在空间中的细粒度、有意义的干预操作，例如在不改变标签的情况下操纵特征，或在图像间迁移特征。
• 在提升表示质量以用于操纵与生成的同时，保持在标准监督任务（如分类）上的强性能。
• 证明基于特征的解缠能够带来更具可解释性与可控性的数据样本生成与编辑。

提出的方法

• 提出一种新型变分自编码器架构 CCVAE，通过专用的潜在变量（特征潜在变量）显式建模标签特征，该变量与标签值分离。
• 采用一种新颖的变分目标，通过在特征潜在变量上施加结构化先验，鼓励模型将特征与其它内容因子解耦。
• 使用条件推理网络将输入数据与标签映射到特征潜在变量，确保模型能够学习提取具有感知意义的特征。
• 通过仅操纵特征潜在变量而固定其他潜在变量，实现干预操作，从而支持平滑遍历与特征迁移。
• 通过在图像之间转移特征潜在变量实现特征互换，保留标签一致的特征，同时改变背景或上下文。
• 使用预训练分类器定量评估互换过程中特征的保留程度，最小化原始图像与互换图像之间的对数概率差异。

实验结果

研究问题

• RQ1 我们能否在不直接将标签值映射到潜在变量的前提下，在变分自编码器中学习到解缠且具有感知意义的标签特征表示？
• RQ2 将标签值与其视觉特征解耦，是否能提升潜在空间中干预操作的质量与可控性？
• RQ3 CCVAE 是否能在保留标签一致特征的前提下，实现图像间的特征迁移，并在该任务上超越基线方法？
• RQ4 尽管专注于特征解缠，CCVAE 是否仍能在标准分类与生成任务中保持强性能？
• RQ5 CCVAE 是否能生成多样且高保真度的样本，使其与给定的标签干预一致，而不会退化为单一模式？

主要发现

• 在 CelebA 数据集上，CCVAE 在特征互换中的特征保留性能显著优于所有基线方法，平均对数概率差异为 1.177（f=0.004），而 M2 的结果为 2.118。
• 在 Chexpert 数据集上，CCVAE 的对数概率偏移更低（f=1.0 时为 1.084），优于 M2（1.415）与 MVAE（1.601），表明其具有更优的特征保真度。
• CCVAE 支持在不改变标签值的前提下，对标签特征（如发色、微笑强度）进行平滑遍历，而直接标签-潜在映射方法无法实现此功能。
• 该模型支持多样化的条件生成：对于相同的标签干预，可生成多个不同的样本，而基线方法通常会退化为单一模式。
• 特征互换能够精确转移视觉特征（如肤色、发色、妆容）从一张图像到另一张，同时保留背景与上下文信息，经定性与定量分析验证。
• CCVAE 在标准分类与生成任务上的表现与先前方法相当或更优，表明特征解缠并未损害其预测性能。