[论文解读] Boosted Generative Models

Aditya Grover, Stefano Ermon|arXiv (Cornell University)|Feb 27, 2017

Generative Adversarial Networks and Image Synthesis被引用 11

一句话总结

本文提出了一种新型生成模型提升框架，通过顺序训练模型以纠正先前模型的误差，采用乘法集成组合方式，显著提升了基准数据集上的密度估计、分类和样本生成性能。该框架支持生成模型与判别模型的融合，实现了性能的显著增强。

ABSTRACT

We propose a novel approach for using unsupervised boosting to create an ensemble of generative models, where models are trained in sequence to correct earlier mistakes. Our meta-algorithmic framework can leverage any existing base learner that permits likelihood evaluation, including recent deep expressive models. Further, our approach allows the ensemble to include discriminative models trained to distinguish real data from model-generated data. We show theoretical conditions under which incorporating a new model in the ensemble will improve the fit and empirically demonstrate the effectiveness of our black-box boosting algorithms on density estimation, classification, and sample generation on benchmark datasets for a wide range of generative models.

研究动机与目标

• 解决现有生成模型在高精度拟合复杂数据分布方面的局限性。
• 将原本用于监督学习的提升原理扩展至无监督生成建模，通过实现模型误差的顺序纠正。
• 开发一种灵活的黑箱元算法，将多种生成模型与判别模型整合为单一集成模型。
• 为乘法提升提供理论保证，确保在特定条件下实现收敛。
• 在密度估计、分类与样本生成任务中，实证验证其相对于基线模型与加法提升的优越性。

提出的方法

• 提出一种乘法提升框架，最终模型的密度为各中间模型密度的乘积，实现分层误差纠正。
• 在每轮提升中使用重加权的训练数据，权重由真实数据与模型生成样本之间的密度比导出。
• 引入判别模型（如二分类器）以区分真实数据与生成数据，其输出用于重加权训练样本。
• 将集成模型形式化为专家模型的乘积，其中每个专家为一个生成或判别模型，旨在提升整体似然拟合度。
• 允许任何支持似然评估的基模型（如变分自编码器、和积网络、混合模型）作为弱学习器使用。
• 提出两种算法：GenBGM（生成提升）与DiscBGM（判别提升），均采用灵活的模型权重以应对分类器的不完美性。

实验结果

研究问题

• RQ1 能否有效将提升方法适配于无监督生成建模，以提升模型容量与拟合能力？
• RQ2 在何种理论条件下，乘法提升可保证在多轮迭代中持续提升集成模型性能？
• RQ3 能否有意义地将用于区分真实数据与生成数据的判别模型整合进生成集成框架？
• RQ4 在密度估计与生成任务中，乘法提升相较于加法提升在模型拟合与泛化能力方面表现如何？
• RQ5 该黑箱提升框架在多大程度上可增强各类生成模型（包括深度表达模型）的性能？

主要发现

• 乘法提升框架通过顺序训练模型纠正先前集成成员的误差，显著改善了似然估计。
• 实证结果表明，所提框架在多个基准数据集的密度估计任务中，优于基线模型与加法提升方法。
• 用于区分真实数据与生成数据的判别模型可有效集成至集成框架中，从而提升整体性能。
• 该框架在生成分类与样本生成任务中表现优异，生成样本的保真度与多样性均得到提升。
• 理论分析建立了在何种条件下，向集成中添加新模型可保证Kullback-Leibler散度向真实数据分布减少。
• 该方法具有高度灵活性与通用性，支持参数与非参数模型，并可扩展至归一化流以实现自归一化采样。