[论文解读] Generalized Zero-Shot Learning via VAE-Conditioned Generative Flow

Yuchao Gu, Le Zhang+3 more|arXiv (Cornell University)|Sep 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用 4

一句话总结

本文提出 VAE-cFlow，一种新颖的条件生成模型，用于广义零样本学习（GZSL），通过将变分自编码器（VAE）与归一化流结合，为未见类别生成高质量视觉特征。通过将语义描述编码到有意义且具有判别力的潜在空间，并利用可逆流优化精确对数似然，该方法在大规模数据集（如 ImageNet21K）上实现了最先进性能，分别在 M500 和 M1K 分割上提升 3.9% 和 3.1%。

ABSTRACT

Generalized zero-shot learning (GZSL) aims to recognize both seen and unseen classes by transferring knowledge from semantic descriptions to visual representations. Recent generative methods formulate GZSL as a missing data problem, which mainly adopts GANs or VAEs to generate visual features for unseen classes. However, GANs often suffer from instability, and VAEs can only optimize the lower bound on the log-likelihood of observed data. To overcome the above limitations, we resort to generative flows, a family of generative models with the advantage of accurate likelihood estimation. More specifically, we propose a conditional version of generative flows for GZSL, i.e., VAE-Conditioned Generative Flow (VAE-cFlow). By using VAE, the semantic descriptions are firstly encoded into tractable latent distributions, conditioned on that the generative flow optimizes the exact log-likelihood of the observed visual features. We ensure the conditional latent distribution to be both semantic meaningful and inter-class discriminative by i) adopting the VAE reconstruction objective, ii) releasing the zero-mean constraint in VAE posterior regularization, and iii) adding a classification regularization on the latent variables. Our method achieves state-of-the-art GZSL results on five well-known benchmark datasets, especially for the significant improvement in the large-scale setting. Code is released at https://github.com/guyuchao/VAE-cFlow-ZSL.

研究动机与目标

• 为解决 GAN 和 VAE 在广义零样本学习（GZSL）中的局限性，特别是训练不稳定性与次优似然估计问题。
• 开发一种条件生成模型，能够为未见类别生成逼真且多样化的视觉特征，同时保持语义意义。
• 通过建模给定语义描述下视觉特征的精确条件概率分布，提升 GZSL 性能。
• 通过联合优化重建与分类目标，确保潜在空间既具有语义意义，又具备类间判别能力。
• 证明在合成特征中匹配真实已见类别特征的类内变化，对实现最优 GZSL 性能至关重要。

提出的方法

• 该方法使用 VAE 将语义描述编码为可处理且具有语义意义的潜在分布，将标准的零均值先验替换为基于分类的正则化后验。
• 训练条件归一化流（cFlow）以建模给定 VAE 编码潜在码时视觉特征的精确对数似然，实现精确的密度估计。
• VAE 损失确保潜在码能够重建原始语义嵌入，从而强制保持语义意义。
• 通过将零均值约束替换为对潜在变量的分类损失，对后验正则化进行修改，以增强类间判别能力。
• 潜在空间中的采样温度控制类内变化，当合成特征的变化与真实已见特征一致时，性能达到最优。
• 模型以已见特征数量 12 倍的规模生成合成未见特征，采样温度调优至 1.1 时性能最佳。

实验结果

研究问题

• RQ1 能否有效结合条件归一化流与 VAE，为 GZSL 中未见类别的视觉特征生成高质量特征？
• RQ2 潜在空间先验与正则化的选择如何影响条件潜在分布的语义意义与判别能力？
• RQ3 合成特征中的类内变化对 GZSL 性能有何影响，如何实现控制？
• RQ4 通过归一化流优化精确对数似然，是否优于 VAE（优化下界）和 GAN（存在模式崩溃问题）在 GZSL 中的表现？
• RQ5 所提出方法在不同数据集规模下的可扩展性如何，特别是在 ImageNet21K 等大规模设置下？

主要发现

• VAE-cFlow 在五个基准数据集上实现最先进性能，包括在 ImageNet21K 的 M500 分割上提升 3.9%，M1K 分割上提升 3.1%。
• 当用分类正则化替代标准 VAE 后验正则化时，该方法在 CUB 数据集上使 GZSL 和 ZSL 性能分别提升 5.2% 和 3.6%。
• 合成特征生成的最优采样温度为 1.1，此时与真实已见特征的类内变化匹配，且最大化 GZSL 准确率。
• 随着合成未见特征数量的增加，性能持续提升，峰值出现在已见特征数量的 12 倍时。
• t-SNE 可视化结果表明，VAE-cFlow 生成的合成特征比先前方法更接近真实数据分布。
• 该方法在大规模 GZSL 中表现优越，但在小规模 ZSL 设置中存在局限，这源于基于 VAE 的潜在建模本质。