[论文解读] A Brief Introduction to Generative Models

Alex Lamb|arXiv (Cornell University)|Feb 27, 2021

Reinforcement Learning in Robotics参考文献 22被引用 11

一句话总结

本文为机器学习中生成模型提供了基础性综述，将其框架化为概率模型，通过参数化分布 $q_\theta(x)$ 估计真实数据分布 $p(x)$，从而学习生成逼真的数据。文章强调了其在少样本学习中的作用，通过反事实生成提升模型可解释性，并通过KL散度和对抗性目标等统计分歧形式化训练过程，主要贡献包括变分推断与生成对抗网络的整合。

ABSTRACT

We introduce and motivate generative modeling as a central task for machine learning and provide a critical view of the algorithms which have been proposed for solving this task. We overview how generative modeling can be defined mathematically as trying to make an estimating distribution the same as an unknown ground truth distribution. This can then be quantified in terms of the value of a statistical divergence between the two distributions. We outline the maximum likelihood approach and how it can be interpreted as minimizing KL-divergence. We explore a number of approaches in the maximum likelihood family, while discussing their limitations. Finally, we explore the alternative adversarial approach which involves studying the differences between an estimating distribution and a real data distribution. We discuss how this approach can give rise to new divergences and methods that are necessary to make adversarial learning successful. We also discuss new evaluation metrics which are required by the adversarial approach.

研究动机与目标

• 解释生成建模的认知与实际动机，包括人类学习中的“刺激贫乏”问题。
• 通过KL散度等统计分歧，将生成建模形式化为概率密度估计问题。
• 展示生成模型如何通过反事实生成提升判别模型的评估能力。
• 介绍核心技术，包括变分自编码器（VAEs）、生成对抗网络（GANs）和归一化流（normalizing flows）。
• 强调无监督预训练在有限标注数据下实现高效监督学习与强化学习中的作用。

提出的方法

• 将生成建模形式化为最小化真实数据分布 $p(x)$ 与模型估计分布 $q_\theta(x)$ 之间的统计分歧 $D(p||q_\theta)$。
• 使用变分推断在VAE中近似难以计算的后验分布，通过优化证据下界（ELBO）实现。
• 通过GAN采用对抗性训练，其中生成器 $G(z)$ 与判别器 $D(x)$ 在极小极大博弈中联合训练，以生成逼真样本。
• 应用归一化流构建灵活且可逆的变换，实现密度估计中的精确似然计算。
• 将深度生成模型与推理模型结合，如对抗性学习推理（ALI）中，以提升样本质量与训练稳定性。
• 使用噪声对比估计（NCE）训练未归一化的模型，当精确似然不可计算时提供替代方案。

实验结果

研究问题

• RQ1 生成模型如何通过利用大量未标注数据实现高效的少样本学习？
• RQ2 生成模型在多大程度上能通过生成反事实输入来更好地评估判别模型？
• RQ3 不同生成建模形式化方法（如基于似然、对抗性与能量）之间的关键权衡是什么？
• RQ4 VAE与GAN等架构在归纳偏置与泛化行为方面有何差异？
• RQ5 使用生成模型进行无监督预训练能否减少过拟合并提升下游监督任务的性能？

主要发现

• 生成模型能够从未标注数据中学习丰富的世界表征，实现高效的少样本学习，并减少对标注样本的依赖。
• 通过反事实文本提示，可对图像字幕模型进行严格评估，以检验其是否超越统计相关性实现泛化。
• 通过GAN的对抗性训练可实现高保真度的样本生成，但若缺乏谱归一化或梯度惩罚等技术，训练不稳定性仍是挑战。
• 变分自编码器为后验推断提供了可微且可计算的近似，支持通过反向传播实现端到端训练。
• 归一化流支持精确似然计算，在低维潜在空间中对密度估计尤为有效。
• 噪声对比估计通过区分真实数据与噪声，使未归一化模型的训练成为可能，为基于似然的训练提供灵活替代方案。