[论文解读] Bottleneck Conditional Density Estimation

Rui Shu, Hung Bui+1 more|arXiv (Cornell University)|Nov 25, 2016

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 9

一句话总结

本文提出瓶颈条件密度估计器（BCDE），一种使用随机瓶颈层的深度生成模型，可提升高维条件密度估计性能。通过将条件训练与联合生成模型（BJDE）相结合，该框架实现了稳健的半监督学习，显著减少过拟合，并在MNIST、SVHN和CelebA数据集的全监督与半监督设置下达到最先进性能。

ABSTRACT

We introduce a new framework for training deep generative models for high-dimensional conditional density estimation. The Bottleneck Conditional Density Estimator (BCDE) is a variant of the conditional variational autoencoder (CVAE) that employs layer(s) of stochastic variables as the bottleneck between the input $x$ and target $y$, where both are high-dimensional. Crucially, we propose a new hybrid training method that blends the conditional generative model with a joint generative model. Hybrid blending is the key to effective training of the BCDE, which avoids overfitting and provides a novel mechanism for leveraging unlabeled data. We show that our hybrid training procedure enables models to achieve competitive results in the MNIST quadrant prediction task in the fully-supervised setting, and sets new benchmarks in the semi-supervised regime for MNIST, SVHN, and CelebA.

研究动机与目标

• 通过学习输入数据的结构化表征，解决高维条件密度估计（CDE）中的过拟合问题。
• 通过利用未标记的输入和目标数据，在标注数据稀缺的情况下实现有效的半监督CDE。
• 通过将条件模型正则化至联合生成模型，提升模型鲁棒性与表征学习能力。
• 开发一种新颖的混合训练框架，融合条件学习与联合学习，以实现更好的泛化性能。
• 为图像到图像和图像到文本任务建立半监督条件密度估计的新基准。

提出的方法

• BCDE使用具有输入$x$与目标$y$之间随机瓶颈层的深度生成模型，实现结构化表征学习。
• 一个兄弟模型——瓶颈联合密度估计器（BJDE）——通过从瓶颈$z$独立生成$x$和$y$，学习联合分布$p(x,y)$。
• 一种混合目标函数将BCDE参数正则化至BJDE参数，融合条件学习与联合学习。
• 混合训练过程使用条件对数似然与KL散度项的加权组合，使BCDE后验分布与BJDE的联合后验对齐。
• 该框架通过在瓶颈$z$上对未标记的$x$或$y$进行边缘化，实现半监督学习。
• BCDE中的识别模型被简化（例如因子化），以减少过拟合，尤其在低数据场景下。

实验结果

研究问题

• RQ1 能否通过引入联合生成模型的信息，使条件生成模型对过拟合更具鲁棒性？
• RQ2 与使用预训练的标准条件训练相比，联合模型的混合训练是否能提升半监督条件密度估计的性能？
• RQ3 BCDE能否通过利用联合模型的归纳偏置，学习到输入$x$的解耦且鲁棒的表征？
• RQ4 混合训练如何影响输入$x$在结构扰动下的泛化性能？
• RQ5 该混合框架能否在图像四分之一预测和人脸生成等高维CDE任务中实现最先进性能？

主要发现

• 在全监督的MNIST四分之一预测任务中，混合训练实现了具有竞争力的性能，优于使用预训练的条件训练方法。
• 在半监督的MNIST、SVHN和CelebA任务中，采用混合训练的BCDE取得了新的最先进结果，性能提升最高达1.99纳特，超过条件基线模型。
• 混合模型显著减少了过拟合：在数据分布偏移任务中，干净数据与偏移数据之间的性能差距更小（例如，在平移不变MNIST上，分别为1.00与1.40纳特），优于条件训练方法。
• 潜在空间可视化显示，混合训练学习到了解耦表征——在$x$中保留了平移信息——而条件训练则忽略了此类结构特征。
• 混合训练中采用的因子化识别模型进一步减少了过拟合，在数据污染条件下实现了最小的性能下降。
• 混合目标函数有效利用了未标记数据，使BCDE成为高维设置下半监督CDE的鲁棒且可扩展的解决方案。