[论文解读] Guiding Energy-based Models via Contrastive Latent Variables

Hankook Lee, Jongheon Jeong+2 more|arXiv (Cornell University)|Mar 6, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出对比潜在引导能量学习（CLEL），一种通过对比表示学习（CRL）作为潜在变量来引导训练的能量模型（EBM）框架。通过联合训练球形潜在变量EBM与对比编码器，CLEL在训练速度和内存效率方面优于以往的EBM方法（包括使用变分自编码器或扩散模型的方法），并实现了最先进的FID分数。

ABSTRACT

An energy-based model (EBM) is a popular generative framework that offers both explicit density and architectural flexibility, but training them is difficult since it is often unstable and time-consuming. In recent years, various training techniques have been developed, e.g., better divergence measures or stabilization in MCMC sampling, but there often exists a large gap between EBMs and other generative frameworks like GANs in terms of generation quality. In this paper, we propose a novel and effective framework for improving EBMs via contrastive representation learning (CRL). To be specific, we consider representations learned by contrastive methods as the true underlying latent variable. This contrastive latent variable could guide EBMs to understand the data structure better, so it can improve and accelerate EBM training significantly. To enable the joint training of EBM and CRL, we also design a new class of latent-variable EBMs for learning the joint density of data and the contrastive latent variable. Our experimental results demonstrate that our scheme achieves lower FID scores, compared to prior-art EBM methods (e.g., additionally using variational autoencoders or diffusion techniques), even with significantly faster and more memory-efficient training. We also show conditional and compositional generation abilities of our latent-variable EBMs as their additional benefits, even without explicit conditional training. The code is available at https://github.com/hankook/CLEL.

研究动机与目标

• 解决能量模型（EBM）长期存在的训练不稳定与收敛缓慢问题。
• 提升EBM的生成质量，缩小与生成模型最先进水平（如GAN和扩散模型）的差距。
• 利用对比学习（CRL）获得的低成本自监督表示来引导EBM训练，而无需额外的生成模型。
• 实现EBM与对比编码器的高效联合训练，同时保持EBM的显式密度特性。
• 证明对比表示可作为EBM中结构化数据建模的有效潜在变量。

提出的方法

• 引入一种球形潜在变量EBM，用于建模联合分布 $ p_{\theta}(\mathbf{x}, \mathbf{z}) $，其中 $ \mathbf{z} $ 为对比表示。
• 使用实例级对比学习（如SimCLR）训练对比编码器 $ h_{\phi} $，生成语义性、归一化的潜在码 $ \mathbf{z} \in \mathbb{S}^{d-1} $。
• 采用梯度截断操作将对比学习目标与EBM训练解耦，以支持联合优化。
• 设计联合训练目标，将EBM训练与对比学习相结合，利用对比损失引导EBM更好地理解数据结构。
• 引入投影头 $ g_{\theta} $，将EBM的能量输出映射到与对比学习兼容的潜在空间。
• 确保潜在变量 $ \mathbf{z} $ 被归一化至单位球面，以与标准CRL目标对齐，并提升训练稳定性。

实验结果

研究问题

• RQ1 对比表示学习能否作为有效的潜在变量来引导能量模型训练？
• RQ2 与标准EBM训练相比，使用对比特征是否能提升EBM的样本质量和训练效率？
• RQ3 所提出的框架是否能在不依赖VAE或扩散模型等昂贵辅助模型的情况下实现具有竞争力的FID分数？
• RQ4 该框架对不同对比学习方法（如SimCLR、BYOL、MAE）的编码器有多大的鲁棒性？
• RQ5 所学习的潜在变量EBM在未进行显式条件训练的情况下，能在多大程度上实现条件生成与组合生成？

主要发现

• CLEL在CIFAR-10上实现了35.73的FID分数，显著优于基线EBM（42.46）和先前的SOTA EBM方法。
• 与基线相比，FID降低了16.4%，且性能优于通过VAE或扩散模型增强的EBM方法。
• 该框架兼容多种自监督表示学习方法，包括BYOL（FID: 36.31）和MAE（FID: 37.67），展现出广泛的适用性。
• 对比潜在变量使模型能够在无需显式条件训练的情况下实现零样本条件生成与组合生成，表明实现了解耦表示学习。
• 模型在分布外（OOD）检测任务中表现优异（AUC: 0.8723），表明所学习的EBM能够捕捉有意义的数据分布与不确定性。
• 消融实验表明，MLP投影头与负采样分布 $ p_{\theta}(\tilde{\mathbf{z}}) $ 对性能至关重要，而使用恒等投影头会导致性能显著下降（FID: 86.02）。