[论文解读] SHOT-VAE: Semi-supervised Deep Generative Models With Label-aware ELBO Approximations

Haozhe Feng, Kezhi Kong+4 more|arXiv (Cornell University)|Nov 21, 2020

Machine Learning and Data Classification参考文献 29被引用 5

一句话总结

SHOT-VAE 提出了一种半监督深度生成模型，通过引入 smooth-ELBO 和 OT-近似，解决了 '高 ELBO，差推理' 的问题。smooth-ELBO 将标签预测损失整合进 ELBO 目标，OT-近似则通过最优插值打破 ELBO 值瓶颈。在仅使用 4,000 个标签时，CIFAR-10 上误差率为 6.11%，在使用 10,000 个标签时，CIFAR-100 上误差率为 25.30%，优于当前最先进方法，且无需额外先验知识。

ABSTRACT

Semi-supervised variational autoencoders (VAEs) have obtained strong results, but have also encountered the challenge that good ELBO values do not always imply accurate inference results. In this paper, we investigate and propose two causes of this problem: (1) The ELBO objective cannot utilize the label information directly. (2) A bottleneck value exists and continuing to optimize ELBO after this value will not improve inference accuracy. On the basis of the experiment results, we propose SHOT-VAE to address these problems without introducing additional prior knowledge. The SHOT-VAE offers two contributions: (1) A new ELBO approximation named smooth-ELBO that integrates the label predictive loss into ELBO. (2) An approximation based on optimal interpolation that breaks the ELBO value bottleneck by reducing the margin between ELBO and the data likelihood. The SHOT-VAE achieves good performance with a 25.30% error rate on CIFAR-100 with 10k labels and reduces the error rate to 6.11% on CIFAR-10 with 4k labels.

研究动机与目标

• 解决半监督 VAE 中高 ELBO 值与准确推理之间无相关性的常见问题。
• 探究此脱节现象的根本原因：(1) ELBO 无法直接利用标签信息，(2) 存在 ELBO 值瓶颈。
• 提出一种方法，在不依赖外部先验知识或架构修改的前提下，提升推理准确性。
• 在仅使用极少标注数据的同时，保持潜在空间中解耦且可解释的表征。

提出的方法

• 提出 smooth-ELBO，一种新颖的 ELBO 近似方法，通过标签平滑将标签预测损失融入 ELBO 目标，理论上将分类性能与 ELBO 目标关联起来。
• 提出 OT-近似（最优插值近似），用于估计并减小真实数据似然与 ELBO 之间的差距，从而打破 ELBO 瓶颈。
• 使用深度神经网络参数化推理与生成过程，潜在变量 z 和 y 使用独立先验，并采用联合后验分解 q(z,y|X) = q(z|X)q(y|X)。
• 端到端训练模型，采用联合目标函数：smooth-ELBO 同时优化重建与分类，通过随机梯度下降进行优化。
• 利用条件生成验证潜在空间中 z（风格）与 y（类别标签）的解耦性。
• 将 SHOT-VAE 与数据增强及一致性正则化（如 Mean Teacher）结合，进一步提升性能。

实验结果

研究问题

• RQ1 为何半监督 VAE 中的高 ELBO 值常无法预测准确的推理结果？
• RQ2 ELBO 目标中缺乏对标签的直接整合，在多大程度上限制了模型性能？
• RQ3 是否存在 ELBO 值瓶颈，使得进一步优化无法提升推理准确性？
• RQ4 能否有效近似并减小 ELBO 与真实数据似然之间的差距，以提升性能？
• RQ5 能否在不依赖外部先验知识或复杂架构的前提下，设计出标签感知的 ELBO 与瓶颈突破机制？

主要发现

• SHOT-VAE 在仅使用 4,000 个标注样本时，CIFAR-10 上误差率为 6.11%，显著优于现有方法在相同设置下的表现。
• 在使用 10,000 个标签的 CIFAR-100 上，SHOT-VAE 达到 25.30% 的误差率，展现出在低监督设置下的强大泛化能力。
• 仅使用 500 个标签（CIFAR-10 的 2.5%）时，SHOT-VAE 误差率为 14.27%，表明在极低监督下仍具鲁棒性。
• 该模型在小型架构（如 1.5M 参数）下仍保持优异性能，表明计算开销低且具备可扩展性。
• 与数据增强或 Mean Teacher 正则化结合后，SHOT-VAE 在 CIFAR-10（4k 标签）上误差率达 4.56%，在 CIFAR-100（10k 标签）上为 24.09%，显示出与其它 SOTA 技术的强兼容性。
• 条件生成结果证实，z 和 y 分别代表解耦且可解释的因子：z 控制图像风格，y 控制类别身份。