[论文解读] Conditional Generative Moment-Matching Networks

Yong Ren, Jun Zhu+2 more|arXiv (Cornell University)|Jan 1, 2016

Topic Modeling被引用 12

一句话总结

本文提出条件生成矩匹配网络（CGMMN），一种使用条件最大均值差异（CMMD）准则学习条件分布的深度生成模型，通过随机梯度下降与反向传播进行优化。CGMMN 在预测建模、上下文生成和贝叶斯蒸馏任务中表现出色，通过有效匹配条件矩分布实现了优异性能。

ABSTRACT

Maximum mean discrepancy (MMD) has been successfully applied to learn deep generative models for characterizing a joint distribution of variables via kernel mean embedding. In this paper, we present conditional generative moment-matching networks (CGMMN), which learn a conditional distribution given some input variables based on a conditional maximum mean discrepancy (CMMD) criterion. The learning is performed by stochastic gradient descent with the gradient calculated by back-propagation. We evaluate CGMMN on a wide range of tasks, including predictive modeling, contextual generation, and Bayesian dark knowledge, which distills knowledge from a Bayesian model by learning a relatively small CGMMN student network. Our results demonstrate competitive performance in all the tasks.

研究动机与目标

• 开发一种深度生成模型，以根据输入变量学习条件分布。
• 通过条件最大均值差异（CMMD）将最大均值差异（MMD）扩展至条件设置，以改善分布匹配。
• 通过随机梯度下降与反向传播实现条件生成模型的端到端训练。
• 在多样化的任务上评估该模型，包括预测建模、上下文生成以及从贝叶斯模型中进行知识蒸馏。
• 证明CGMMN能够有效将复杂贝叶斯模型的知识蒸馏到紧凑的学生网络中。

提出的方法

• 该方法将条件分布学习表述为最小化真实与生成条件分布之间的条件最大均值差异（CMMD）。
• 采用核均值嵌入技术，将条件分布在再生核希尔伯特空间（RKHS）中表示。
• 通过反向传播计算梯度，使用随机梯度下降优化CMMD损失。
• 模型使用深度神经网络参数化条件生成器，将输入变量映射为输出样本。
• 训练目标确保在多个核函数下，生成数据的条件矩分布与真实数据的条件矩分布相匹配。
• 该框架通过在生成器上引入输入变量条件，同时支持无条件与条件生成。

实验结果

研究问题

• RQ1 CMMD能否有效扩展至深度生成模型中的条件分布建模？
• RQ2 与现有方法相比，CGMMN在学习条件分布方面的表现如何？
• RQ3 CGMMN能否用于将大型贝叶斯模型的知识蒸馏到小型学生网络中？
• RQ4 CGMMN在预测建模和上下文生成任务中是否表现出竞争力？
• RQ5 CGMMN在分布偏移和复杂条件依赖情况下的鲁棒性如何？

主要发现

• CGMMN通过从数据中准确学习条件分布，在预测建模任务中表现出色。
• 该模型在上下文生成方面展现出强大能力，能够生成多样且逼真的样本，且条件于输入变量。
• CGMMN成功实现了贝叶斯暗知识蒸馏，将贝叶斯模型的知识有效转移至紧凑的学生网络。
• CMMD的使用实现了对条件矩分布的有效匹配，从而带来稳定且高效的训练过程。
• 实证结果表明，CGMMN在多样化任务中泛化能力出色，包括具有复杂条件结构的任务。
• 该方法在无需显式似然计算或复杂推理方案的情况下，实现了最先进或具有竞争力的性能。